建议官方搞个大模型服务

v0hyCY · 发表于 2026-5-1 19:20:31

您需要登录才可以下载或查看，没有账号？立即注册

×

建议官方搞个大模型服务，用户部署在docker中，可以给hermes等使用，这样本地部署不花钱，我们自己研究的成本太高。

iQCD7k · 发表于 2026-5-2 19:08:21

这配置卡爆你，等下又要说

夏夏子 · 发表于 2026-5-3 10:24:55

你配置好的话可以本地部署呀，部署的话很简单的，比如我部署了一个ollama的模型用来翻译，就是一个compose就行了。本地模型重点是配置，我反正感觉我这个翻译慢慢的还没其他的百度翻译这些快，不知道是不是我的服务器太拉胯了😂

发表于 2026-5-6 01:00:47

本帖最后由 0001 于 2026-5-6 01:03 编辑

想法很好，但你的nas设备跑个gamma-4-e4b这种小学生模型估计都带不起来。

发表于 2026-5-6 01:04:34

夏夏子发表于 2026-5-3 10:24
你配置好的话可以本地部署呀，部署的话很简单的，比如我部署了一个ollama的模型用来翻译，就是一个compose ...

你还有服务器呢

夏夏子 · 发表于 2026-5-6 08:45:40

0001 发表于 2026-5-6 01:04
你还有服务器呢

不很正常嘛

风雨潇潇 · 发表于 2026-5-6 12:53:33

专业的人干专业的事

潇潇雨歇 · 发表于 2026-5-6 17:47:36

小马拉大车，这个真拉不到

夜雨星辰 · 发表于 2026-5-6 20:13:20

夏夏子发表于 2026-5-3 10:24
你配置好的话可以本地部署呀，部署的话很简单的，比如我部署了一个ollama的模型用来翻译，就是一个compose ...

你的算力不行，本地模型吃内存，吃算力卡或者显卡。个人目前来看折腾的没有必要。

夏夏子 · 发表于 2026-5-7 08:43:28

夜雨星辰发表于 2026-5-6 20:13
你的算力不行，本地模型吃内存，吃算力卡或者显卡。个人目前来看折腾的没有必要。 ...

我也觉得个人感觉没太必要

[Docker（含三方容器）] 建议官方搞个大模型服务