求部署 deepseek r1 70b 的配置

5 天前
 ChunkitAu

如题,老板看到同事用 cursor 做原型图设计,和领导开会脑子一抽要求我去组一个内网部署用的模型给同事写方案。 因特殊原因写方案不能联网,有人会组吗?
看网上资料 deepseek 70b 需要 40g 内存,目前显卡方案领导暂定 4090 ( 48g ) X2 (也不知道魔改的靠不靠谱)。

274 次点击
所在节点    问与答
1 条回复
ChunkitAu
5 天前
有人知道 vllm 下部署 deepseek r1 70b 需要多大显存?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1157833

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX