公司内部部署 OpenClaw 的架构选择:自建大模型 vs API 模型,大家是怎么选的?

2 天前
 Aokiji

最近公司在考虑搭建一个 内部 AI 助手平台,目标是让公司同事(不到 50 号人)都能用,比如:

目前计划使用 OpenClaw 作为统一入口和管理平台,但在 大模型部署方式上有两种方案在评估,想听听大家的经验。


方案一:OpenClaw + 自建大模型

架构大概是:

员工
  │
OpenClaw (云服务器)
  │
模型服务 (vLLM / Ollama 等)
  │
GPU 服务器
  │
大模型 (Qwen / Llama)

初步考虑的模型:

对 GPU 服务器和自建大模型不熟悉, 有没什么坑点, 需要怎么样的配置以及相关的费用怎么样.


方案二:OpenClaw + 外部 API 模型

架构:

员工
  │
OpenClaw
  │
API 模型
  │
GLM / Minimax  等

个人其实更倾向于这个的, 领导倾向于第一种

但是也不太确定, 长期 API Token 成本怎么样, 比如买 GLM 的 Max 套餐(年付 4000), 或者 Minimax 的 Ultra(年付 8000 左右) 这些 coding plan, 套餐内能否支撑使用


是否真的需要 openclaw 这个不做讨论哈, 先提前谢谢大家分享经验。

730 次点击
所在节点    问与答
5 条回复
NelsonZhao
2 天前
主要是隐私方面的问题吧,如果隐私不是特别重要我建议使用 api
hnbcinfo
2 天前
方案三:OpenClaw + CPA
兼容了你的方案一和方案二。即支持自建也支持外部 api ,甚至支持两个混合使用,还能做负载均衡。
hnbcinfo
2 天前
CPA--> CliProxyApi
goodryb
2 天前
自建模型起码得 27b 或者 35b-a3b 吧, 我试过 qwen3.5 9b 不太行
MuyuQ
9 小时 25 分钟前
方案一属于是智障。 而且只能处理文字。 方案二可以接入多模态的模型。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1196345

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX