AI 开发时代， APPLE MAC 落后了

[mogutouer]

由于 Apple 抛弃了 N 卡，黑苹果驱动不支持，白苹果没独立 N 卡。

几乎所有的 AI 项目都以 python 为主，然后因为要 N 卡参与训练和推理，导致现在绝大部分 AI 项目都在 linux/windows 平台上，众多个人开发者或者学习者都是以 win 平台为主。

对于刚接触的，想要跑一下试试的，mac 平台也没有太方便的一键运行测试的东西，后面真正要用了，发现还是要云 GPU 运算或者 windows 平台搭配 N 卡才是王道。

apple 跟 nvdia 没有紧密合作，在 AI 开发时代感觉已经落后了，介于 mac 平台困难重重，最后还是买了一台 pc ，搭配 14 代 i728 核，4070tis ，性能上超过 mac ，尤其是 AI 方面的性能 mac 根本没法比。

新出来的 M4 ，比起独立 N 卡，算力方面差的不是一星半点，并且 N 卡 Tesla 还能并联算力翻倍，大部分的 GPU 服务器也是 linux 或 windows ，导致开发环境包括工具都偏向 win 。

apple 想要靠自己干翻 intel+nvdia ，基本不可能了，M 系列芯片出来之后，大家都很兴奋，平时开发都够用且好用。没想到时代巨变，AI 越来越普及，导致 M 的算力和优势荡然无存，期待什么时候 mac 再次跟 nvdia 合伙，AMD 实在是扶不上墙。

[ysc3839]

@shinsekai ONNX 也许算，但是似乎只能推理，不能训练，而且限制很多，基本是要配合厂商专用工具使用的，不像 Vulkan 是 API 层兼容，重新编译一般就能用。
另外 CUDA 事实上也跨平台了，AMD 的 ROCm 是 API 层面兼容 CUDA 的，不过这一套只有 NV 和 AMD 在用，别的厂商不用。

[fanhed]

模型训练不都是在服务端的吗? 训练模型的不都是大型服务器集群吗, 一般是 Linux 服务器吧.
本地运算的话, 好像现在流行弄个 NPU 来加速?

[Blanke]

据说 m 芯片对 pytorch 或相关有加持，是这样吗

[houshuu]

从本科到现在工作, 遇到大部分学术人员和公司都是主要在 Linux 下工作, 自己电脑说白了也就是个 SSH 连接器.
从这一点上 Mac 设计还是挺不错的, 大家都爱用

[Focus9]

唱衰苹果到底有什么乐趣。。。

[lambohu]

@fanhed 他应该是训练都在本地，壕

[PandaIsGood]

苹果 on-device ML 布局挺早的，可惜一直没有弄 LLM

[qweruiop]

这次 win 发了 ai pc ，mac 确实落后了。。。

[leonz95]

苹果做好推理能力就好了

[lategege]

mac 在开发效率上无与伦比，因为其完备的开发工具和系统的稳定性，但是它不适合跑服务，所有图形化系统本身就非常吃资源，你服务当然是要跑在单独的 linux 中才能让利用率最大化。

[MC]

第三方能做的，第一方为什么一定要下场做？苹果也不是一家 AI 公司啊。。。

[Baratheon]

斗蛐蛐爱好者踢到铁板了

[dangotown]

@LuckyLauncher 超分就行啊

[xdtx]

软件兼容性好就行了，比如我是 MBA 还是 8G 的 M1 ，Pytorch 切换 MPS 和 CUDA 也不算太复杂的迁移

[KoreaFish]

也不是，蘋果芯片的 NPU 是這麼多移動處理器裡最強的，基礎有了，只是缺一些應用。

[phub2020]

AI 已经这么屌了吗？在本地跑也能有生产力啦？我版本落后这么多啦？

[5177748]

Wow~~ Amazing! Only Apple Can Do!

[babyedi31996]

@mumbler 这几天新出的 M4 Mac Mini 有 64G 版本,17000 左右能上 64G 网 10Gb 的,有搞头吗?

能跑量化的 70b 吗

[babyedi31996]

@YooboH 不是什么从业者,深度学习的问题.玩家想本地跑 llm...现在的大模型都有审查,没法玩最好玩的部分阿

[mumbler]

@babyedi31996 #58 本地跑 70B 意义不大，能跑是能跑，但太慢没有实用价值。只有 10B 以下模型可以流畅运行，基本上当前 7B ，8B 就能达到上一代 70B 左右的水平，比如 gemma2 9B 就比 qwen1.5 72B 要强