V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ChunkitAu
V2EX  ›  问与答

求部署 deepseek r1 70b 的配置

  •  
  •   ChunkitAu · 4 天前 · 271 次点击

    如题,老板看到同事用 cursor 做原型图设计,和领导开会脑子一抽要求我去组一个内网部署用的模型给同事写方案。 因特殊原因写方案不能联网,有人会组吗?
    看网上资料 deepseek 70b 需要 40g 内存,目前显卡方案领导暂定 4090 ( 48g ) X2 (也不知道魔改的靠不靠谱)。

    ChunkitAu
        1
    ChunkitAu  
    OP
       4 天前
    有人知道 vllm 下部署 deepseek r1 70b 需要多大显存?
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2785 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 05:48 · PVG 13:48 · LAX 22:48 · JFK 01:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.