最近公司在考虑搭建一个 内部 AI 助手平台,目标是让公司同事(不到 50 号人)都能用,比如:
目前计划使用 OpenClaw 作为统一入口和管理平台,但在 大模型部署方式上有两种方案在评估,想听听大家的经验。
架构大概是:
员工
│
OpenClaw (云服务器)
│
模型服务 (vLLM / Ollama 等)
│
GPU 服务器
│
大模型 (Qwen / Llama)
初步考虑的模型:
对 GPU 服务器和自建大模型不熟悉, 有没什么坑点, 需要怎么样的配置以及相关的费用怎么样.
架构:
员工
│
OpenClaw
│
API 模型
│
GLM / Minimax 等
个人其实更倾向于这个的, 领导倾向于第一种
但是也不太确定, 长期 API Token 成本怎么样, 比如买 GLM 的 Max 套餐(年付 4000), 或者 Minimax 的 Ultra(年付 8000 左右) 这些 coding plan, 套餐内能否支撑使用
是否真的需要 openclaw 这个不做讨论哈, 先提前谢谢大家分享经验。
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.