MimicOctopus
V2EX  ›  Local LLM

咨询 GPU 服务器方案

  •  
  •   MimicOctopus · Mar 5, 2025 via Android · 2253 views
    This topic created in 622 days ago, the information mentioned may be changed or developed.

    公司要搞一套环境,私有化部署各类模型,用来产品开发测试、demo 演示等场景,想和各位请教一下服务器的方案,一体机,还是工作站?参考 deepseek-r1 32b 或 70b 的配置。

    11 replies  •  2025-03-05 16:48:25 +08:00
    wyntalgeer
    wyntalgeer
    Mar 5, 2025
    1
    ds 就一个 671 希望你明白
    FabricPath
    FabricPath
    Mar 5, 2025
    2
    B200 、H100 、A100 ,8*GPU+4 或 8*400G 网卡机型,能买到哪个买哪个,其他歪路子浪费时间。
    mythabc
    mythabc
    Mar 5, 2025
    3
    8 卡 4090 48G 性价比之选
    dzdh
    dzdh
    Mar 5, 2025
    4
    大量现货。欢迎联系。 微信:cevinc
    dzdh
    dzdh
    Mar 5, 2025
    5
    32b 以下,就跟个傻子一样
    32b ,回答的开始有那个样子
    70b ,勉强够用
    671b 。 嗯。好用。
    MimicOctopus
    MimicOctopus
    OP
    Mar 5, 2025 via Android
    6
    @wyntalgeer 明白,但满血版本搞不起


    @dzdh 公司用 32 以下没什么意义?
    MimicOctopus
    MimicOctopus
    OP
    Mar 5, 2025 via Android
    7
    @mythabc 目前确实规划的 8 卡 4090

    @FabricPath 预算估计包不住
    njmaojing
    njmaojing
    Mar 5, 2025
    8
    @Legman #6 你用 32b 和 chatgpt 跑一个 10PB 开源分布式存储建设方案就知道差距了,不过 671b 我还没时间测,回头在 8*A100 上试试
    dzdh
    dzdh
    Mar 5, 2025
    9
    @Legman #6 32b 及以下(极端情况下甚至是 70b )没有任何商用意义。
    wintersun
    wintersun
    Mar 5, 2025
    10
    同意,租了阿里云 GPU 服务器跑了一遍,32b 顶多高中生,70b 大专生,满血 671b 才是真博士
    tool2dx
    tool2dx
    Mar 5, 2025
    11
    @dzdh 纯粹 671b 聊天也没啥商用价值,很多企业也不是仅仅是客服系统,要喂大量数据的。私有数据和工具才值钱。

    官方 API 已经开放充值了,上下文大的离谱,而且还能上传文档引用。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4248 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 44ms · UTC 07:25 · PVG 15:25 · LAX 23:25 · JFK 02:25
    ♥ Do have faith in what you're doing.