V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
yutsing
V2EX  ›  硬件

分享新手垃圾佬的首次装机经历——个人深度学习工作站(预算~1w CNY)

  •  
  •   yutsing · 305 天前 · 1846 次点击
    这是一个创建于 305 天前的主题,其中的信息可能已经有所发展或是发生改变。

    还从未装过机,只有一台用了数年的笔记本,1066 的显卡完全不能胜任如今 ai 模型对显存的需求。于是决定攒一台深度学习工作站。学生党,家庭也一般,为了满足对本地调试模型的需求,弄个不太贵的台式也说的过去,那么为什么不捡一台高扩展性的工作站呢

    既然是围绕深度学习的需求,首先考虑显卡的选择。划定选择范围:

    • 只考虑台式机显卡。
    • 限 N 卡,因为要炼丹。
    • 发售时间晚于 2019/1/1 ,因为太老的卡能效比不佳,未来更新换代能维持的时间也短。
    • 显存不少于 12g ,大模型时代,显存很重要。
    • FP32 (float) 大于 10 TFLOPS ,算力太低不堪用。
    • 太贵的卡( A100 ,H100 系列)不考虑。
    • 只考虑二手市场流动性好的,避免新显卡的溢价。

    我爬取了 techpowerup 的显卡数据库,获得了全部 NVIDIA 显卡型号和性能指标。通过浏览闲鱼,找出当前二手市场的底价。用综合性能(显存带宽,半精度,单精度,双精度性能,像素 /纹理渲染速度,显存大小)除以综合成本(价格,能效比),得出了每款显卡的性价比分数。最终得出结论:性价比最高的显卡是 3080ti 和 3060 12g 。但是由参考了 lambda 对显卡炼丹性能的测评后,决定选择 A4000 。在我的综合性价比表上它是排名最靠前的专业卡,仅次于 4080 ,并且 4200 左右的价格也正好符合我的预算。A4000 核心基本等同于降频版的 3070ti ,功耗减半的前提下并没有损失太多性能,同时还大幅拉高了显存频率。专业卡对多卡互联没有阉割,对于未来加卡很友好。

    接下来考虑平台。出乎我意料地发现 Intel 居然没有服务器芯片组支持 pcie4.0 。既然要极致性价比,选择大船洋垃圾是必须的,所以果断看向 AMD 。发现了一款非常适合我的平台,技嘉 MZ32-AR0 ,1250 的价格,单路 EPYC 7002 ,DIMMx16 ,4 个 PCIe4.0x16 插槽,可扩展性无敌,并且也有原装的 4u 服务器。于是海鲜平台下单了准系统( 1700 元)

    然后考虑 CPU 。这款主板为 7002 系列设计,可以兼容 7003 ,然而观察 7003 的价格,都相当高昂。7002 系列中,发现 7532 性价比最高,遂下单一块( 2000 元)

    再买来一根内存,亮机卡,就是等待到货准备装机测试了

    8 条回复    2023-09-13 18:02:27 +08:00
    radio777
        1
    radio777  
       305 天前
    钱都花在刀刃上了,不过一根内存不够吧?
    archxm
        2
    archxm  
       304 天前
    看似很有用,很有学习价值,实际上就一玩具
    lmkyl
        3
    lmkyl  
       303 天前
    没看懂楼主 1W 预算是仅显卡,还是整机
    iloveayu
        4
    iloveayu  
       301 天前 via iPhone
    专业卡对多卡互联没有阉割,对于未来加卡很友好。
    皮衣刀客:我不这么认为

    a4000 的 nvlink 被砍了
    tangtang369
        5
    tangtang369  
       298 天前
    给你贴个图 卡肯定是 4090 猛
    [img]https://i2.mjj.rip/2023/07/05/dfc65d85f127bd358a58a1ee9e931ffc.png[/img]
    yutsing
        6
    yutsing  
    OP
       261 天前
    @radio777 只是开机测试一下,如果没问题再加
    yutsing
        7
    yutsing  
    OP
       261 天前
    @lmkyl 整机
    yutsing
        8
    yutsing  
    OP
       227 天前
    @archxm 你说的对,已经卖了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3917 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 05:13 · PVG 13:13 · LAX 22:13 · JFK 01:13
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.