V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
jpkrhan
V2EX  ›  程序员

请教大家台式机装机咨询

  •  
  •   jpkrhan · 315 天前 via Android · 2100 次点击
    这是一个创建于 315 天前的主题,其中的信息可能已经有所发展或是发生改变。

    想装一台可以搞一搞大模型的机器,求教什么配置比较好呢? 需求是能跑得起来开源大模型, windows 下用 docker 跑 clickhouse 和 neo4j 这样的图数据库, 运行时候声音莫吵 预算 7000 吧,请教大家有什么好的配置单。

    14 条回复    2023-05-21 18:19:15 +08:00
    dankai
        1
    dankai  
       314 天前 via Android
    预算 7000 别想了,都不够一个 4080 的
    czfy
        2
    czfy  
       314 天前 via Android
    预算 7000 就想本地跑大模型?就算不训练只用都不行吧
    你是不是不清楚大模型为什么叫大模型
    jpkrhan
        3
    jpkrhan  
    OP
       314 天前 via Android
    清华的模型好像消费级显卡就可以?
    chesha1
        4
    chesha1  
       314 天前
    看你怎么定义大模型了,最入门的“大”模型,6B 7B 参数的那种,加上节约显存的技巧,大概也要 10G 显存了
    可以搜一下能用什么级别的显卡,7000 预算估计不太够
    但是传言,会有 4060ti 16gb 的版本,如果你预算没法加可以等等这个,这个应该是新卡里最便宜的大显存卡了
    documentzhangx66
        5
    documentzhangx66  
       314 天前
    人工智障的能力,是依赖数据量,而不是模型。只有数据量足够大的时候,人工智障才会发生能力涌现。这就是为什么大厂训练一次人工智障的费用成本,高达百万甚至千万美元。

    中小公司,买几台插满 A100 显卡的服务器,进行训练,没啥用。这也是为什么文心智障与 ChatGPT 的质量有隔代差异的原因。全球也就美国的顶级大厂才能正式开发,其他厂家的数据量太少,只能听个响。

    至于楼主,7 千元人民币,还不如多买几个大厂人工智障的账号来的实际。
    SClP
        6
    SClP  
       314 天前
    用 6400 块钱买个 4070ti 显卡,剩下的配件去闲鱼淘个 E3V5 套装
    OysterQAQ
        7
    OysterQAQ  
       314 天前 via iPhone
    5500 买个二手 3090 ,1500 随便凑个配置
    Swimming
        8
    Swimming  
       314 天前 via Android
    这时候就得看 e3 神教
    lilei2023
        9
    lilei2023  
       314 天前
    这预算有点不够吧
    jpkrhan
        10
    jpkrhan  
    OP
       314 天前 via Android
    原来这样啊,看起来还是很依赖硬件和数据量的。如果只是
    jpkrhan
        11
    jpkrhan  
    OP
       314 天前 via Android
    只是随便玩玩,可能配置都不够
    ryan4yin
        12
    ryan4yin  
       314 天前 via Android
    这个预算,建议租云 GPU
    Le95
        13
    Le95  
       313 天前
    魔改 2080ti 22g 显卡 b 站 up 司波图有一期 4000 的 ai 主机 你的预算可以换换靠谱的配件 应该够。
    jpkrhan
        14
    jpkrhan  
    OP
       313 天前 via Android
    @Le95
    @ryan4yin 感谢感谢
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2944 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 14:10 · PVG 22:10 · LAX 07:10 · JFK 10:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.