公司本地部署开源模型

[majuzhang]

想知道公司里部署一个可以供 20-40 人用的开源模型，需要大概怎样的硬件配置，一般会做文档处理，以及一些简单的编程

[owen800q]

5090

[majuzhang]

@owen800q 一张就够了吗，并发会不会很吃力

[owen800q]

@majuzhang 4 張

[Muze]

可以搜 技术犬，他们好像专门弄这个静音 AI 机箱，但是价格动不动就 50 到 80 万的，看预算吧，有机房的话，可以去找各大服务器厂家询价，例如惠普，戴尔之类的

[someonesnone]

感觉得魔改大显存

[gpt5]

看抖音上有人用 5000 块钱 diy 的丐版硬件部署 dsv4flash ，可以跑到 100tps 以上。

[Integ]

4 张 RTX pro 6000 就够了。

[wu67]

除非数据有超常规格的保密要求, 不然还不如买套餐...本地跑单是商用电费就够你们喝一壶了

[malusama]

感觉现在本地部署根本不划算。。

[majuzhang]

@wu67 主要是财务会用，有保密要求，我也在考虑是本地部署的成本问题

[woscaizi]

现在 Agent 工具的上下文很大的，会导致 prefill 阶段很耗时。如果是 20-40 人使用绝对不是 4 张 5090 ，6000 就能搞定的

[majuzhang]

@woscaizi 其实就是说，本地部署的方案成本会很高而且不好用是么

[ttwxdly]

少说 10 张 5090 。还有内存啥的，一点都不划算。

[hrapunzel]

deepseek-v4-flash 高精度量化模型，两个 dgx spark 可以跑

[woscaizi]

部署 deepseek 、glm 、mimimax 之类效果好的开源模型用起来会很好，但不是低成本就能部署下来的。你可以调研下部署 deepseek-v4-flash 需要多少钱，它的部署需求基本是最低的。如果是部署 qwen3.6-35B 级别，需要的资源少，但是任务成功的概率低。

[beefhotpot]

deepseek-v4-flash ，2 张 rtx pro 6000 可以跑。

[zsj1029]

h20 141 两张就够了 ds flash 很强，一步到位不要扣扣嗖嗖最后什么也搞不好

[dcatfly]

如果你本身比较了解模型相关的概念，可以参考 https://apxml.com/zh/tools/vram-calculator
如果本身不了解，可以直接拿你的需求问 chatgpt ，再结合上面的做参考

[qiuhang]

@woscaizi #15 qwen3.6-35B 这种级别的，好一点的家用台式机都能跑

[woscaizi]

可以跑是一回事，能真的用起来是一回事。况且是 20-40 人使用