买大内存 MacBook 的一个意外好处——私人 AI 服务器

[privater]

MacBook Pro M1 Max 64G 可以跑 DeepSeek R1 的大模型当 AI 服务器，当年想都没想过还有这个用途。



之前本机跑 Llama 3 性能并不好，能力不如大部分收费的模型，但是如今有了 DeepSeek ，一下就山鸡变凤凰，相当于本地跑个 Chatgpt o4 mini 的水平，这就很够用了。

当然 70B 模型虽然能跑动，回答速度是比较慢的，目测大概 3 tokens/s ，只能用来问适合思考的问题，例如我问了个黑洞视线的问题，花了大约 2 分钟才输出完毕。但是如果降低点要求用 32B 模型，输出能快到 15 tokens/s ，基本和线上服务相似，就非常可用了：

[levn]

70b 的大小是 32b 的两倍，那么速度应该在 7t/s 左右，为什么下降那么多呢。

[ZeroClover]

@yukino 自己没试过就不要抖机灵

OpenAI 官方 API / AWS Bedrock / OpenRouter 这三家黄文和 politics 都没什么问题，除了一些非常过激的模型本身拒绝回答，其他都毫无问题。

模型训练引入的道德观念得靠 Post Training 解决，这更不是 Apple Silicon 能做到的事情

[ZeroClover]

@levn 因为带宽不够了

[LnTrx]

@qdwang 还有一点是价格。用 API 容易不小心造成大额开支，但自部署可以利用原本闲置的设备，电费、折旧成本相对可控。蒸馏模型虽然知识不行，但目前推理、翻译等已经有一定能力了，可以搞一些很费 token 的活。

[youthfire]

我是 m3 96gb ，实际跑 deepseek r1:32b 还是觉得太慢了，别说 70b 了

[buruoyanyang]

公司好像有个 a6000 在吃灰，来年了我也去跑个本地的试试

[GabrielleBellamy]

我是 M4 Max 128GB 内存，跑 DeepSeek 32b 非常流畅。

[qiaobeier]

@yukino 现在所有 AI 都只能写些低年级小学生作文，我女儿四年级就没法用了，1 ～ 2 年级我经常用 GPT 写范文再让她改改，三年级就被老师发现用了 AI😂

[davidqw]

32b 的蒸馏日常可用，但不如 671b 本体

[fcten]

这居然是意外好处吗，我以为买大内存 mac 设备的都是为了本地跑 LLM 的。毕竟 mac 的金子内存一般人没需求是不会拉满的...
除了跑 LLM 还有哪些需求会用到大内存？视频剪辑？

[youthfire]

@GabrielleBellamy 差别那么大？我是 m3 max 96gb 。跑 32b ，按道理显存也足够，甚至还富裕，但是我觉得回答很慢。用的 Open webui ，还经常 network problem ，不过答案仍然会出来。

[youthfire]

我发现直接用 ollama 速度很快，用 open webui 调用 ollama 却回答非常慢

[privater]

@fcten 21 年的时候，哪有什么 AI 模型的概念啊，都是研究员的玩物，大内存是应对全栈开发的，直到 2022 年底 chatgpt 爆火后才慢慢进入视线，实际能轻松跑，还有后面的 pytorch 等库对 M1 系列支持开始。

这台电脑现在 1 分钟就能解决完所有安装和库的兼容性，下载完模型就能用，这种易用性跟装个浏览器差不多了，21 年想都没法想，我其实感概的是这点

[PandaIsGood]

@fcten IDE 吃内存还是挺厉害的，加上常年开一堆浏览器 tab

[feikaras]

懂电脑的越来越少了。可惜。
就 mac 那个速度，你给他 192g 都不顶用啊。

[xiaoqi6pi112]

@ZeroClover 我之前看有人用 mac mini 做了一个集群

[moudy]

@qdwang #2 4. 想玩 nsfw ？？

[yunpeng2015]

m3 max 36G ，跑 r1 14b 很流畅，32b 可以运行但输出比较慢

[Vitta]

64g 的 intel 人都麻了

[ZeroClover]

@xiaoqi6pi112 自媒体哗众取宠搞的，不具备任何生产价值和成本优势。同样的成本拿传统显卡方案搞更便宜更通用更可靠

如果捡垃圾那就更便宜了

https://blog.hjc.im/dual-w7900ds-llm-preliminary-experience.html