mac studio 跑大模型也就那样啊

[guoguobaba]

也就是个玩具的水平 mac studio m3 ultra, 512g 内存/显存，671b q4_k_m ，gpu 和内存都跑满了，10 几个 tokens/s

32b ，内存不算多，8%，但是 gpu 总是跑满，20 多个 tokens/s

如果在一台里加上嵌入和 rerank 模型（知识库标配），基本上都很卡

跑 obsidian 和 dify 的知识库，速度和我的 amd + 64g 内存+ 4060ti 16g 跑 14b 差不多。

[iamqk]

mac 就是内存/显存优势
算力不行而已，不如 nv 的旗舰显卡
ps：隔壁也看到了

[jfsd2000]

全方位吊打 nv 的话苹果肯卖你也卖不到啊。

[moooookey]

苹果现在的东西，娱乐一下就行了，你可别真当生产力工具啊，对自己好点

[SakuraYuki]

别人说的明明是能在这个价位跑 671b 的模型，同价位显卡显存不够跑不起来，可从来没人说过 mac 跑大模型速度快的，毕竟没 cuda 加速，苹果那个 metal 生态没 cuda 好

[clemente]

速度不行 但是至少能用啊

[fredweili]

能和消费级显卡比较，就不错了，至少不贵能买的到啊