V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
lordofmetis
V2EX  ›  程序员

这套垃圾配置训练模型可以吗

  •  
  •   lordofmetis · 185 天前 · 5225 次点击
    这是一个创建于 185 天前的主题,其中的信息可能已经有所发展或是发生改变。

    第一次发帖,不知道是否发在合适的节点,如果发错了,还请见谅。

    废话不多说,配置如下:

    1. 主板:超微 X9SRL-F ,两个 PCIE 3.0 ✖️ 16 槽,若干个 PCIE 3.0 ✖️ 8 槽;
    2. 显卡:英伟达 Tesla P40 ✖️ 2 + AMD GT650 亮机卡;
    3. CPU:至强 E5-2680V2 ;
    4. 内存:三星 DDR3 32G ✖️ 4 ;
    5. 硬盘:随便;
    6. 电源:挑个 1000W 以上的。

    上面这样一套配置跑深度学习以及训练模型可以吗,有什么坑吗? 提前谢谢大家!

    61 条回复    2024-05-09 23:52:37 +08:00
    lifeOsDeveloper
        1
    lifeOsDeveloper  
       185 天前
    可以
    tap91624
        2
    tap91624  
       185 天前
    P40 半精度听说有点问题,可以提前看下自己对 FP16 要求高不高
    stimw
        3
    stimw  
       185 天前
    没啥问题,我自己拿了张 4090 ,但是没 nvlink 所以双卡也没啥用了。
    p40 就是性能太烂了。
    有预算还是上魔改 22g 的 2080ti ,甚至 3090 。
    lordofmetis
        4
    lordofmetis  
    OP
       185 天前
    @lifeOsDeveloper 谢谢回复
    yummysakko
        5
    yummysakko  
       185 天前
    这东西应该有集显的,不用亮机卡
    lordofmetis
        6
    lordofmetis  
    OP
       185 天前
    @tap91624 谢谢回复,想请教下一般在什么场景下会对 FP16 有较高的要求?也正是因为这个,之前一直在纠结到底是 P40 还是 P100 ,Reddit 上网友说如果是要 train 或者 fine tune 模型的话,P40 更合适,如果是 model inferencing 的话,那 P100 更合适些,不知道这是不是和半精度有关。
    lordofmetis
        7
    lordofmetis  
    OP
       185 天前
    @stimw 谢谢回复,魔改 2080ti 之前也考虑过,一同考虑过的还有魔改的 3060 12G 之类的,感觉配置起来会省心很多,不用搞外部散热,也不要转接线什么的,但是就怕魔改的用起来有这样那样的问题,网上很多人也不推荐魔改的,不知道实际情况到底咋样。
    hiphooray
        8
    hiphooray  
       185 天前
    是打算训练啥样的模型?图像、视频、文字?
    tap91624
        9
    tap91624  
       185 天前
    @lordofmetis 我做推理多,推理用 fp16 多
    lordofmetis
        10
    lordofmetis  
    OP
       185 天前
    @yummysakko 谢谢回复,我再去研究下,之前问了 GPT4 ,说基本上 E5 系列的都是没有集显的,如果不用亮机卡那是最好了,我还能省个十几块钱呢( doge
    Pteromyini
        11
    Pteromyini  
       185 天前
    @lordofmetis #6 绝大多数情况下 train 和 fine tune 过程更考验半精度,因为在训练过程中对于计算精读并不需要太多考量,每一步单独的计算都是简单计算
    lordofmetis
        12
    lordofmetis  
    OP
       185 天前
    @hiphooray 倒是还没有明确的想法,等配好了之后探索试试看吧,所以现在也不想花太多的钱。
    lordofmetis
        13
    lordofmetis  
    OP
       185 天前
    @tap91624 好的,学习了
    lordofmetis
        14
    lordofmetis  
    OP
       185 天前
    @Pteromyini 谢谢回复,又学到啦
    sujin190
        15
    sujin190  
       185 天前
    好奇这套多少币?
    ztmzzz
        16
    ztmzzz  
       185 天前 via iPhone
    这种服务器主板上有集成显卡的,不用亮机卡
    vickhan
        17
    vickhan  
       185 天前
    也想知道需要多少米,关键家里也要够大,要不然这声音也不小把
    echo1937
        18
    echo1937  
       185 天前 via iPhone
    别买 X9SRL-F ,早就停产了,都是店保几个月的货,还是 x79 平台的。
    买个精粤华南的 x99 d3 大板吧,价格基本差不多,性能更好,还带三年保修,何乐而不为。
    xianqin
        19
    xianqin  
       185 天前
    同好奇多少币?
    另外准备装到普通机箱里?
    seres
        20
    seres  
       185 天前
    图省钱,我选 e5+x99+2080ti 22g
    ntedshen
        21
    ntedshen  
       185 天前
    @lordofmetis ipmi 卡,不是 cpu 本身集成显卡。。。
    你看板子上有 vga 的那就是有集显(板载)
    lordofmetis
        22
    lordofmetis  
    OP
       185 天前
    @sujin190 三千出头一些
    lordofmetis
        23
    lordofmetis  
    OP
       185 天前
    @ztmzzz 谢谢,前面又问了下主板卖家,说确实不用亮机卡
    lordofmetis
        24
    lordofmetis  
    OP
       185 天前
    @vickhan 初步看下来,全包的价格是三千出头一些。我考虑用 ATX 机箱,应该会安静些吧,机架式的问下来都说太吵了。。
    lordofmetis
        25
    lordofmetis  
    OP
       185 天前
    @echo1937 哈哈 X99 我也考虑过,但是最后没有选是因为我想要量大管饱的 DDR3 内存条,但 X99 不支持;而且超微的板子都说用着还行,而精粤华南听说是寨板啥的怕有问题,显卡的卖家也让我用超微的而不要用华南的。X9SRL-F 这块板子还是 GPT-4 推荐我的,确实网上卖这个的店家也不多了。
    lordofmetis
        26
    lordofmetis  
    OP
       185 天前
    @xianqin 价格三千多一些;准备装到普通机箱里,找了个能装 40 厘米长度显卡的 ATX 机箱。
    lordofmetis
        27
    lordofmetis  
    OP
       185 天前
    @seres 2080ti 22g 也要两千五了,而两张 p40 加起来就一千八不到。不过真诚发问,魔改的 2080ti 真的好吗?
    lordofmetis
        28
    lordofmetis  
    OP
       185 天前
    @ntedshen 谢谢,我再去查查看
    BeautifulSoup
        29
    BeautifulSoup  
       185 天前
    @lordofmetis P40 真的不建议买,现在所有加速的框架和方法至少都是安培架构起步。P40 除了显存大没有任何优点; 2080Ti22G 版本取决于卖家的手艺,改不好掉显存非常头疼。
    lithiumii
        30
    lithiumii  
       185 天前 via Android
    魔改显存可能还是能用的,我笔记本 2060 魔改了 12G ,跑了大半年了还是挺稳定的
    lordofmetis
        31
    lordofmetis  
    OP
       185 天前
    @BeautifulSoup 谢谢回复,其实我也挺担心 P40 太老了,真的要跑什么模型发现版本用不了啥的,这也是我迟迟没有下手的原因。那或者老老实实 4060ti 16g 先入个门?
    BeautifulSoup
        32
    BeautifulSoup  
       185 天前
    @lordofmetis 你要训什么模型。如果是大模型,上面说的这几个都不是好方案;如果只是自己随便玩玩,最近的 40super 系列可以看看。一点建议是预算充足的话优先买显存大的。12G 以下的卡训练模型非常鸡肋
    lordofmetis
        33
    lordofmetis  
    OP
       185 天前
    @lithiumii 谢谢回复,我也再来研究下魔改显卡:)
    gzlock
        34
    gzlock  
       185 天前
    我在用 2080ti 22g 300A 核心 全三星显存 金属背板 三风扇,到手用 OCCT 软件跑显存测试 1 个小时没有错误就点收货了。
    买来用 sd 来跑图,但还是馋 4090
    lordofmetis
        35
    lordofmetis  
    OP
       185 天前
    @BeautifulSoup 谢谢,能麻烦您再多说几句不建议买 P40 的理由吗?
    lordofmetis
        36
    lordofmetis  
    OP
       185 天前
    @gzlock 哈哈,想买 4090 跑 sd 吗?
    lordofmetis
        37
    lordofmetis  
    OP
       185 天前 via Android
    @lordofmetis 我记错了

    “From a crosspost of this same question, someone helpfully pointed out that the memory bandwidth benefits of the P100 aren't all that helpful once the model is loaded, at least when inferencing. For training and fine tuning, it matters more. This explains why the P100 is geared towards training and the P40 towards inferencing, and so the larger vram pool is probably the way to go if like me, you're mostly planning to use existing models. Hope this helps.”
    gzlock
        38
    gzlock  
       185 天前
    @lordofmetis #36 4090 毕竟 1 万 6 个 cuda ,2080ti 跟 4060ti 一样就 4 千多个 cuda ,怎么说也能快 3 倍+吧
    esile
        39
    esile  
       185 天前 via Android
    @echo1937 山寨非常容易坏还是大厂好
    echo1937
        40
    echo1937  
       184 天前 via iPhone
    @lordofmetis x99 是 d3 和 d4 内存都有,我就在用

    @esile 寨板我公司好多人都在用,买来当机器学习或者 k8s 实验机的,精粤和华南的,没坏过。
    biglion666
        41
    biglion666  
       184 天前
    如果是个人用,这不得吵死。。。如果不是个人用,干嘛买个垃圾。。。
    lordofmetis
        42
    lordofmetis  
    OP
       184 天前
    @gzlock 没错的,只是觉得 4090 用来跑图是不是有点性能过剩啦
    lordofmetis
        43
    lordofmetis  
    OP
       184 天前
    @esile 好的,谢谢~
    lordofmetis
        44
    lordofmetis  
    OP
       184 天前
    @echo1937 谢谢,我刚看了下,确实精粤和华南都有符合我要求的板子,即支持 DDR3 且有两个 PCIE x 16 的显卡插槽,不过还是想先试试看超微的那块老板子吧,一来价格更便宜,二来超微的口碑确实更好些而在精粤和华南的买家评论区也看到一些翻车的留言,三来超微这块坏了之后也可以再换其他的。
    lordofmetis
        45
    lordofmetis  
    OP
       184 天前
    @biglion666 谢谢回复,如果不用机架式的机箱,噪音也会很大吗?
    iorilu
        46
    iorilu  
       184 天前
    真没必要, 现在用 4060 16g 得做这个很合适, 价格也还行
    lordofmetis
        47
    lordofmetis  
    OP
       184 天前
    @iorilu 谢谢回复,4060 我也在考虑,但是为什么 4060 已经很合适了方便展开说说吗?
    iorilu
        48
    iorilu  
       184 天前
    @lordofmetis 首先, 这是性价比最高的 16g 卡, 其次都是新卡, 不存在洋垃圾矿卡等, 驱动都是新的, 肯定支持所有得框架

    再说了, 真这玩意不够用, 说明你已经搞得不错, 换更好的卡也很合理阿
    iorilu
        49
    iorilu  
       184 天前
    @iorilu 另外 transformers 也支持分布式训练, 真需要大显存 ,可以弄几块 4060ti, 当然了 , 我还没用过分布式, 但应该是可行的
    mifly
        50
    mifly  
       184 天前 via Android
    也在 4060 2080 魔改,3090 中犹豫
    分享我的看到的推荐 4060ti16g 的理由是,内存大,价格合适,新架构,性能还行,一般 16g 内存不支持的,24g 也不支持,到时候租 gpu 用;

    2080 魔改矿卡和看手艺,相对大
    3090 矿卡,预算到 6000 了,好像也可以考虑最新的 4070ti super 了?
    biglion666
        51
    biglion666  
       184 天前
    @lordofmetis p40 的问题是没有风扇,你要配风扇。 那就得起飞,你这散热上不去,显卡就跑不动

    想要跑就得风扇狂飙,飞机起飞。你限制转速就两个结果,一跑不动,二显卡过热烧了

    你如果有个单独的地下室什么的倒是可以。。。但是如果你有个单独的地下室,那么说明你有钱买 4090.。。。
    iorilu
        52
    iorilu  
       184 天前
    其实大部分玩玩主要是想把流程跑起来

    学习反正把参数改改, 显存小点反正也能跑起来

    不会有人真指望自己拿点破机器能训练出好用得模型把

    如果只是用别人模型, 拿更不需要太大显存
    lordofmetis
        53
    lordofmetis  
    OP
       184 天前
    @iorilu 谢谢,您说的很有道理,我可能确实需要摆正心态,从 4060ti 开始入门可能也是个不错的选择。

    @mifly 谢谢,您说的理由我认同。我觉得魔改 2080 不行的点在于大部分店只有一年质保,之后出问题了再去修的话也没啥性价比了; 3090 矿卡么,总觉得六千多买矿卡心里膈应。

    @biglion666 谢谢,您的回复点醒我了,之前一直觉得噪音方面可能问题不大,现在想想大概想当然了。
    jonty
        54
    jonty  
       184 天前
    @lordofmetis #10 一般来说是主板带集显。。不是 CPU
    stimw
        55
    stimw  
       184 天前
    @lordofmetis #7 买之前可以先租卡吧。。租一阵子心里有数了,搞什么方向、自己需要多大显存也知道了。没必要急着买。
    lordofmetis
        56
    lordofmetis  
    OP
       184 天前 via Android
    @jonty 谢谢,学习了
    lordofmetis
        57
    lordofmetis  
    OP
       184 天前 via Android
    @stimw 谢谢回复,是的,之前其实就已经开始用 autodl 和 vast.ai 比划比划,但是机器有点难抢,所以想着要不要自己搞一台算了。
    esile
        58
    esile  
       183 天前 via Android
    @echo1937 我去年买了 6 块已经有三块有问题了 厂家售后只包点亮 寄过去都是直接寄回
    echo1937
        59
    echo1937  
       183 天前
    @esile #58 这么夸张吗,哪个牌子哪个型号的?
    dayeye2006199
        60
    dayeye2006199  
       182 天前
    感觉不如 10 刀一个月的 colab
    BarackBao
        61
    BarackBao  
       73 天前
    计算机博士在读,实验室抢卡太费劲,刚刚下单 华南 x99 + 双路 e5 2680v4 ,准备体验一下试试
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1015 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 19:01 · PVG 03:01 · LAX 12:01 · JFK 15:01
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.