问一个 toB 创业卡点，现在企业内网，能部署可用的模型么？有人实践过成本多大么？

[qinbingchen]

因为企业安全原因，不可能让资料上公网大模型。 DeepSeek-R1-Distill-Qwen-14B/32B 这些类似的，能不能承担企业级别的查询呢？

[kennylam777]

@qinbingchen 我家中有三片 3090 ，一片 4090 ，及一片 5090 ，另外有長期部署的 GPU 及 LLM 應該有資格說話吧。

Qwen Flash Next 性價比最強，16G VRAM 能跑，另一個是 Qwen 35B MoE ，Dense 的話你錢不夠。

但問題是我看你對模型的基礎能力好像沒概念，你指定要 14B Q4 沒問題，但問題是哪款模型都沒選好？ 14B 這是上一代的 Dense 大小，現時很多人寧願用更多參數的 MoE 。

[kennylam777]

@qiuhang 的確，每個人都說 Qwen 好，實測過有些小任務還是 Gemma 適合，實測最重要，沒試過就直接取報價的實在過不去。

[qinbingchen]

@kennylam777 我没指定 小模型没怎么玩过。就是先调研下大家，有没有私有化部署的经验案例

[qinbingchen]

实在不行，就看看能不能脱敏非安全数据走公网了，toB 这里一直是卡点。

[yingqi7]

企业用户可能在同一时段集中使用，更关注高峰期处理能力 8*H20-3e
可同时执行约 20 ～ 25 项后台分析任务

繁忙时完成一项任务约需 40 ～ 70 秒

部署预算约 320 万元（仅参考）

企业更关注首期采购成本，且可以接受高峰期适当排队 8*A800(2*TP4)
可同时执行约 10 ～ 14 项后台分析任务

繁忙时完成一项任务约需 50 ～ 70 秒

部署预算约 100 ～ 200 万元（仅参考）

这个是我们公司产品的推荐配置。感觉再低就成玩具了