学习大模型的显卡怎么选型

[cuteshell]

想高性价比的配一个主机进行大模型的学习，预算不超过 2 万，能够进行大模型的训练和推理，自己研究了一下，有两套方案，请大家帮拿拿注意。

方案一：一张 5070Ti ，显存 16G ，估计只能训练一些 3B 、4B 的小参数模型
方案二：两张 5060Ti 的显卡，显存可以达到 32G ，可以训练一些 7B 、8B 的模型，但是单张计算性能只有 5070Ti 的一半。

之前在公司用 A800 和 3090 做过训练，感觉性能还行，5070Ti 能更接近 3090 ，不知道到有没有用 5060Ti 做过训练的朋友，5060Ti 的性能是不是太低了，如果性能太低，光显存大是不是也没多少用。或者大家有没有更好的方案。

[cpstar]

就 16G 显存还训练？？一张 3090 的 24G 完全秒杀，省 xing 省 xing 吧。
就 5060 还双卡？？没有 nvlink ，就靠 pcie 那点带宽，省 xing 省 xing 吧。

[cuteshell]

@cpstar 之前在公司用 8 卡的 A800 ，也是 PCIe ，多卡训练时感觉还是可以的

[nomagick]

16G 3B 4B 你也训不了，不过学习嘛，0.5B 还是可以的；
话说回来，LLM 这种应用，主要吃带宽，还不如买 mac 了，内存即显存

[crackidz]

租卡可好？

[lovestudykid]

@nomagick "主要吃带宽"，"还不如买 mac"，你是怎么把这两句话连在一起的

[testcgd]

训练直接租 autodl 吧，本地优先考虑推理和 debug ，5060x2 会好一点

[cuteshell]

@nomagick 之前用 24G 的训练过 Qwen 7B ，不过输入的 token 不能太多，16B 训练 4B 模型，按比例算可能是可以的，不过确实没有试过。

[cuteshell]

@crackidz 租过阿里的试过，不用的时候停机，再启动记得好像有点问题，我再试试

[cuteshell]

@testcgd 好的，多谢

[2ruowqe9r]

模型训练，我感觉数据整理好麻烦，OP 是怎么解决的？

[coefuqin]

4*2080ti 22g.

[cuteshell]

@2ruowqe9r 之前是人工整理的，还有让用户参与收集，自己写脚本再整理一下。看还有 easydataset 什么的，不过还没用过

[nomagick]

@lovestudykid 嗯？

20s PCIE3.0 x16 ~32GB/s
30s 40s PCIE4.0 x16 ~64GB/s
50s PCIE5.0 x16 ~128GB/s

Mac Mini M4 120GB/s
Mac Mini M4 Pro 273GB/s
Mac Studio M4 Max 410GB/s
Mac Studio M3 Ultra 819GB/s

[nomagick]

@cuteshell LoRA 微调和全参数训练还是不一样的

[mumbler]

2080ti 22G 最好，支持 nvlink ，5000 元实现 44G 显存，英伟达坑比较少

建议研究 agent ，别在大模型微调上浪费一分钱

[lovestudykid]

@nomagick #13 你主要看带宽，难道不应该看单卡，要容量才看多卡。RTX 5090 1792 GB/s

[cuteshell]

@nomagick 本来主要是想 lora 微调，你说的对，如果学习，全参数或继续预训练也可能会需要。

[Rendex]

或者 V10016G 闲鱼现在有双卡或者 4 卡的 nvlink 底板卖，这玩意因为配置麻烦，是现有显卡唯一在降价的

[Rendex]

@Rendex #18 v100 16g 说是 500 左右，一路从 700 降下来的，底板可能要将近 1k

[davidqw]

再加点钱把 4090 魔改 48G 版本拿下

[murmur]

本地大模型也就玩玩 stable diffusion 了，学习角度一定是租用 API 最好，量化模型跟玩具一样，现在都在搞提示词工程师，你的模型就是阉割版，给再好的提示词出东西也没别人好

就别说本地 deepseek 了，claude3.5 到 3.7 到 4 ，这几个版本写码能力肉眼可见的进步

[joynvda]

我只做推理，AMD MI50 32G ，二手 1k 搞下来； AMD MI100 32G ， 二手 6-7k 左右（限于贫穷还不敢赌这个方案）
rocm6.3+, Pytorch 2.7

或者考虑 AMD MI50 、MI100 二手训练的可行性。

[frankyzf]

@murmur 估计 op 是想学习大模型底层的知识，比如 fine-tuning ，只调用 API 没法学

[m1nm13]

@joynvda 这个没法用 vllm 吧?ollama?

[charslee013]

2080ti 反而不好，不支持 bfloat16,目前大语言模型都是 bfloat16 权重，建议 30 系尤其是 40 系往上

消费级别最好的推理和训练的显卡是 4090 48GB ，不过显然超预支就是了...

[lyt001]

云平台租卡，当然你要想买来打游戏当我没说

[clemente]

@mumbler 2080ti 能跑 fp16 bf16 fp8 吗....

[mumbler]

@clemente #27 这些问题你可以直接问 deepseek+联网搜索

[xiliang]

@mumbler 5000 元可以两个吗？我看都干到 3000 一个了，去年还很便宜

[coefuqin]

@xiliang 年初 2500 可以搞到一个的，价格总是起起伏伏的。