AI 开发时代， APPLE MAC 落后了

[mogutouer]

由于 Apple 抛弃了 N 卡，黑苹果驱动不支持，白苹果没独立 N 卡。

几乎所有的 AI 项目都以 python 为主，然后因为要 N 卡参与训练和推理，导致现在绝大部分 AI 项目都在 linux/windows 平台上，众多个人开发者或者学习者都是以 win 平台为主。

对于刚接触的，想要跑一下试试的，mac 平台也没有太方便的一键运行测试的东西，后面真正要用了，发现还是要云 GPU 运算或者 windows 平台搭配 N 卡才是王道。

apple 跟 nvdia 没有紧密合作，在 AI 开发时代感觉已经落后了，介于 mac 平台困难重重，最后还是买了一台 pc ，搭配 14 代 i728 核，4070tis ，性能上超过 mac ，尤其是 AI 方面的性能 mac 根本没法比。

新出来的 M4 ，比起独立 N 卡，算力方面差的不是一星半点，并且 N 卡 Tesla 还能并联算力翻倍，大部分的 GPU 服务器也是 linux 或 windows ，导致开发环境包括工具都偏向 win 。

apple 想要靠自己干翻 intel+nvdia ，基本不可能了，M 系列芯片出来之后，大家都很兴奋，平时开发都够用且好用。没想到时代巨变，AI 越来越普及，导致 M 的算力和优势荡然无存，期待什么时候 mac 再次跟 nvdia 合伙，AMD 实在是扶不上墙。

[yidinghe]

苹果的产品设计过于强调通过用户体验来驱动，最终导致技术全部为体验服务，为了独特的体验而造成硬件技术的封闭。

[Morriaty]

1. 只用 mac 开发，使用 remote interpreter 运行
2. 本地开发、本地运行，调用各大平台 LLM API
3. 再有，model.to("mps") 小模型也能玩

[F281M6Dh8DXpD1g2]

说的好像 nvidia 的游戏卡有多大显存似的

[mumbler]

本地跑大模型，96G 内存的 mac 是唯一能跑 llama3 70B 的

[mengdu]

苹果只想做高利润产品。

[wequart]

@mumbler 64G 也可以跑

[LuckyLauncher]

我不觉得可用的 AI 产品是家用级别的显卡可以搞定的
你要是玩玩当我没说

[shinsekai]

为何 AI 开发没有出现像 vulkan 这种跨平台的

[oisc]

MLX 和统一内存了解一下

[ShadowPower]

@mumbler 能跑其实很容易，只是跑得快不快……
用 cpu 就能跑，而且也有 1.2~1.4token/s

[chendy]

一来真正干 AI 开发的人没多少
二来正经干 AI 开发的人都用服务器不用 PC
三来 APPLE MAC 除了干 APPLE 是刚需其他方面谈不上领先

[Code00911]

MAC 也就在自己小圈子玩玩

[YooboH]

你是从业者吗？搞深度学习的我就没见过本地跑的，本地跑只能是初学者玩票性质的，哪怕你 4090 也没用啊，不是速度的问题，是显存完全不够。更别说这还只是推理，你要是训练的话怎么可能用本地机器，全部都是服务器，实验室里我就没见过本地部署的，要么实验室里给的服务器，我么云服务器厂商像 autodl ，企业的话就更不可用自己的小破电脑了了

[ShadowPower]

@LuckyLauncher 除了参数量很大的 LLM 以外，大多数东西用消费级显卡还真能搞定。
很多生产力任务都已经用上了，比如：
高质量视频插帧、视频降噪、视频超分辨率、SDR 转 HDR 、光追渲染加速（少量采样+AI 预测最终结果）
Stable Diffusion XL 也达到了生产可用的程度，当然，没达到“能直接取代人”的程度……

娱乐方面也有：
同上，视频插帧、超分辨率等，但也可以运用于实时游戏中，例如 SDR 游戏画面转 HDR （ Windows AutoHDR ）、游戏超分辨率（ DLSS 2 ）、游戏插帧（ DLSS 3 ）、优化光追效果（ DLSS 3.5 ）

这些技术虽然有传统算法实现的替代方案，但是质量不如基于神经网络的……

还有很多不用显卡就能搞定的，例如歌声合成（像 Synthesizer V 这样的软件），语义分割，光学字符识别，语音识别等等。

最大的开源端到端的语音识别有 Whisper ，只要消费级显卡就可以跑了。

用不那么大的 LLM （~13B ，量化以后可以用消费级显卡跑）跑文本翻译之类的任务，也能满足不少需求。


如果是指训练模型，公司就有用 3090 、4090 来训练的模型，做下游任务的微调还真能用。

[yzbythesea]

op 平时是做 ML 的吗？

[YooboH]

"大部分的 GPU 服务器也是 linux 或 windows" 也是很奇怪，没见过 windows 当服务器的，windows 比 linux 有任何优势吗

[lithiumii]

你要是说云端的 AI 训练和推理，那苹果妥妥落后了。但首先苹果就不做云服务的硬件，其次除了英伟达所有人都落后。

你说 AI 开发，你要不要看看 OpenAI 纪录片里大家都用的啥电脑？正经训练谁跑本地啊。

再说个人玩票性质的本地 AI 开发，如果你的需求是把大模型在本地跑起来，苹果那金贵的统一内存不仅很有性价比，而且很现实。24G 以上的 N 卡没有便宜的，24G 及以下的卡做多卡平台的体积、功耗、噪音也不是人人都能接受的。软件上

[lithiumii]

@lithiumii 软件上 mlx 当然不比 CUDA ，但是比一比莫名其妙的 rocm 不知方便到哪里去了

[lithiumii]

@YooboH 有句讲句 Windows 服务器挺多的，市场占有率可能有 20%，不过带 gpu 的 ai 服务器就不知道了

[gouflv]

你自己也说了，场景就是新手 “跑一下试试”
正经做事的，谁还在本机呢