AI 开发时代， APPLE MAC 落后了

[mogutouer]

由于 Apple 抛弃了 N 卡，黑苹果驱动不支持，白苹果没独立 N 卡。

几乎所有的 AI 项目都以 python 为主，然后因为要 N 卡参与训练和推理，导致现在绝大部分 AI 项目都在 linux/windows 平台上，众多个人开发者或者学习者都是以 win 平台为主。

对于刚接触的，想要跑一下试试的，mac 平台也没有太方便的一键运行测试的东西，后面真正要用了，发现还是要云 GPU 运算或者 windows 平台搭配 N 卡才是王道。

apple 跟 nvdia 没有紧密合作，在 AI 开发时代感觉已经落后了，介于 mac 平台困难重重，最后还是买了一台 pc ，搭配 14 代 i728 核，4070tis ，性能上超过 mac ，尤其是 AI 方面的性能 mac 根本没法比。

新出来的 M4 ，比起独立 N 卡，算力方面差的不是一星半点，并且 N 卡 Tesla 还能并联算力翻倍，大部分的 GPU 服务器也是 linux 或 windows ，导致开发环境包括工具都偏向 win 。

apple 想要靠自己干翻 intel+nvdia ，基本不可能了，M 系列芯片出来之后，大家都很兴奋，平时开发都够用且好用。没想到时代巨变，AI 越来越普及，导致 M 的算力和优势荡然无存，期待什么时候 mac 再次跟 nvdia 合伙，AMD 实在是扶不上墙。

[ShadowPower]

@lithiumii 还真不行，个人用其实 2x3090 最划算，Mac 的问题在于速度实在是太慢了。
别看 NVIDIA 的显存不大，但个人项目如果模型不大，全参数训练完全没问题。如果模型大的话，NVIDIA 有 bitsandbytes 和 flash attention 这些生态，又能省显存又能提速。

用 Lora 、Dora 这类方法来微调模型的时候，基础模型的权重其实可以保持在量化状态，只要能推理就行。但 Mac 用不了 bitsandbytes ，反而需要巨大显存（内存）+缓慢的速度。

哪怕能用 MPS 后端来跑（无论上层框架是什么）且没有兼容问题，对于训练任务，提速效果都不好。一般也就比 CPU 跑快 1~2 倍，苹果的 ANE 是完全用不上的（好像是因为不支持反向传播，我不太确定）。

大内存的 Mac 几乎就是 llama.cpp 推理专用机……如果只用过这个，确实会觉得在家里训练不了什么模型。

至于大公司的例子，他们都有一大堆 A100 （ A800 ）、H100 （ H800 ），当然不会用消费级显卡来跑，而且 NVIDIA 的许可协议在几年前就专门规定禁止将消费级显卡运用于数据中心等用途了。这不代表普通消费者不能这么干。

[freeloop1]

日常使用 a100 主机开发跑吗？

[fredweili]

试过 ollama 了么？闭源的用 api key 能有什么区别？有东西拿出来看看么？

[BenX]

Mac Studio 升级到 192GB 统一内容，了解一下。几乎是最便宜的 AI 开发用机
两张 A6000 多少钱？

[fovecifer]

你是从业者吗？
什么时候跑 AI 需要苹果设备了？

[mogutouer]

生产环境和训练当然是在服务器上，这里指的是开发阶段的逻辑开发和简单推理，因为你不可能直接在服务器上远程慢慢开发调试嘛。

可能是这么多年习惯了随时随地在 mac 上开发测试再部署服务器运行，AI 的开发流程普通的开发者 mac 越来越不合适了，所以才由此感叹。

[lDqe4OE6iOEUQNM7]

苹果·确实落后·了这几天微软 Ai PC 本地大模型嵌入操作系统，加上本地自研的 npu ，实现了很多系统层面的回忆，翻译，绘图，再结合云端大模型，陪你玩游戏，工作，实时交互

[lDqe4OE6iOEUQNM7]

苹果有没有那么多云服务器，算力，看苹果的开源模型加论文本地大模型还是智障，3.5 都没有，就看下个月和 open ai 合作手机上有没有改变了

[lDqe4OE6iOEUQNM7]

希望苹果能玩出一点东西来

[maolon]

@James2099 mac 上的一个叫 rewind 的 app 了解下？ recall 不就是个 win 版的 rewind 嘛，人还出的早多了

[jcdv2]

我印象中 mac 最大显存版本应该是同显存容量最低成本的

[yvescheung]

组个 4070tis 的机器来搞 AI 开发，对不起我想笑

[chhtdd]

大部分使用 mac 的 ai 从业者是将 mac 作为瘦主机使用

[aero99]

没有高利润和前景的行业苹果不做，或者说傲慢也好，总有跌跟头的时候

[hellojsonlv]

你说的 AI 开发不会是本地跑个模型自娱自乐吧，真正做 AI 开发的哪个不用服务器，当然苹果在 AI 方面确实落后

[felixcode]

mac 只是瘦客户机啊，为什么要用 ai 呢

[txydhr]

@ShadowPower sdr 转 hdr 还是算了，白色的东西强行当成光源提亮，十分诡异

[ZedRover]

"大部分的 GPU 服务器也是 linux 或 windows ，导致开发环境包括工具都偏向 win"
认真的么，公司之前有台 windows 服务器，很多 python 的包都装不上比如 SharedArray ，pytorch 跟 tf 的一些特性必须要用 WSL ，旧版的 windows server 上装 wsl 非常麻烦，同时 windows 没有 ubuntu 上 /dev/shm 直接访问内存的功能，只能用 ramdisk ，麻烦不少。后来直接被我改成 ubuntu 舒服多了。windows + gpu 最适合的场景是挖矿，因为很多挖矿软件只有 windows 平台上有，教程也多。苹果对 pytorch tensorflow 的支持也一直在进步，从无到有的过程也能看出进步来，跑点 demo 模型没什么问题。本地跑模型 mac 确实不如 windows ，不过要说 windows 多么好用我看也不见得。

[ShadowPower]

@ZedRover 可以用 WSL2 来开发和调试，依赖 N 卡的东西也能调得通（不必临时改掉）。
调通了再放服务器上。

[zhangdp]

干 ai 开发的都是本地开发，然后 linux 服务器跑