本地大模型目前意义大吗？

[wyfig]

现在用 2020 款初代 M1 处理器的 MacBook pro ，算了下也 5 年了，虽然还能用，但是距离苹果的更新日期也只有一两年时间了。 想换一台新的 mac 。

如果普通的日常开发的话，选择最新的 m5 处理器的 MacBook pro 32G+1T 版本足够我用了。 但是最近两年本地大模型越来越多，范围也越来越广，如果考虑到大模型本地运行，最少可能需要一台 m4 max 处理器的 mac studio 128G+2T 的配置，两者价格直接差了快一倍。

目前有没有在做本地大模型微调等，距离比如用本地大模型写代码以及做一些图片生成、大规模内容处理等事情还有多远，是否值得为后面的四五年准备上一台高配的 mac ？

[wu67]

我就这么说, 你加钱买高配的钱+高功率跑模型产生的电费, 砍下来买标配硬件, 然后去开各种 AI 的会员, 够你爽玩好几年

[oed]

搞成人内容有用。

[elevioux]

除了隐私或 NSFW 内容可能需要，其它情况不如买 API 了。

[beefhotpot]

主要现在大模型更新换代很快，要本地跑效果很好的模型，你上面提到的设备也跑不动，最多跑个量化版，也没什么意思

[HENQIGUAI]

有预算可以买，一般 64G 其实就够了，64G 不够的话再大的话就得 128G 也可能不够。

[Nasdaq]

4090+96GB RAM 跑不起来 120B ，只能说玩玩。

[adov]

现在没有可以搞 nsfw 内容的 api 吗？那看来还是要搞本地啊

[evan1]

搞成人内容有用。

其它没用，不如用免费的 grok 、gemini 之类的。

[Solix]

本地模型不用 N 卡就是残废，别信说 mac 高配就行了

[maichael]

个人使用意义不大。

[BretTaylor]

NSFW

[wyfig]

按照 v 友们说的，确实本地为了跑大模型搞这个配置意义不大。 我平时开发目前 m1 16GB 的也够用了，感觉升级个 32G 的绰绰有余了。

[Seanfuck]

没什么意义，玩 2 天就没兴趣了。
想玩可以去线上租个卡玩，几十块就能玩几天。

[fank99]

没有什么意义，即使有意义，也不是现在这个时间点的 mac 能搞定的

[frayesshi1]

这个时候没得什么意义，但是一旦后面不知道

[hughrover]

以 16B 尺寸的模型部署推理为例，加载半精度模型权重占用显存 16G （全精度 32G ，此外还有 KV Cache 、激活缓冲区占用的显存），即使是 m4 max 的最高配 128G ，也很难流畅运行超过 100B 尺寸的模型，供楼主参考。

[coefu]

除了 m3 mac studio ultra 512G,其余都是玩具。如果有钱搞 2 个，并起来搞成 1T ，跑一跑推理 ok 的，其余的定制就得搞 n 卡了。

[jingcoco]

现在是当备用, 现在免费的 api 太多, 不过私人的东西 还是不用或者本地大模型.