大内存的 mac 本地跑 ai 有什么好的应用吗？各位有在使用的吗？

[aptandatp]

apple 大内存相对于大显存还是有点性价比的，有点好奇，本地 ai 现在的水平能帮助完成什么任务，或者有什么好玩的吗？

我自己只用 nv 跑过一些生图的模型，还有点意思；但是 ollama 的小参数模型智力实在是不行，连玩具都称不上。

[penisulaS]

我的能跑 70b 的，但还是不够聪明，不值得一用，跑 nsfw 又太慢了

[fredweili]

我是拿 ollama 来做运行环境跑一下代码，生产环境还是用云端的吧

[usVexMownCzar]

hugging face 自己写程序调优，或者 comfyui

实际体验，chat 模型不错，速度也可以。但是图像模型的体验不太好，内存还是不够大🫠

[rich1e]

跑 ai ，内存是一方面，模型也很重要。

虽然 mac 是一体化设计，但是同等价格，跑大模型，台式机性价比更高。

如果想在大内存 mac 上跑大模型，需要通过参数优化、量化技术等才会获得较好效果。

[victorysl]

我昨天刚用 qwen 3.5 35B 在我的 M1MAX Mac 上跑本地大模型，我现在就是尝尝鲜聊聊天，不过也不知道有啥新玩法

[McVander]

可以用本地大模型，尝试翻译。效果还行，我用了 1 年多了

[cwcc]

@rich1e 我其实一直想量化一下同价格的 Mac 和 PC 之间跑大模型如果再算上电费的话，这个性价比结果会不会有变。毕竟电费并不是免费的，而想要长期使用必然会 7*24 小时开机。

[maojun]

跑 lunatranslator

[yukunZhan9]

想用大模型来速读一下本地的视频，不知道有没有推荐

[yukunZhan9]

@McVander 可以支持文件翻译吗？ 翻译一下字幕啥的

[Chicagoake]

跑过 20 多 b 的模型，笨得要哭。

[remarrexxar]

不太敢在 MAC 上常规跑模型，内存不够用的时候 mac 会用 SSD 做 SWAP 当虚拟内存，大量读写的话 SSD 扛不住吧

[timeyoyo]

macbook Pro m4 max 跑了个 20 多 b 的，键盘温度感觉可以烤牛肉，第一次听到 风扇转

[McVander]

@yukunZhan9 ollama 支持本地模型的 api 调用，但是文件可能不支持，得额外去处理和定制

[aptandatp]

@Chicagoake 是的，小参数的效果真的太差了，和真正的大模型有云泥之别。
@remarrexxar ssd 很难跑完寿命的其实，绝大多数人的 ssd 都是暴死和跑不完擦写次数的。除非你把 ssd 放在高吞吐的服务器做 io 缓存；毕竟你个人主机大多数时间还是浏览为主，就算有缓存其实读写量也少，之前 mac 高写入量是 macosbug 现在修复了。

[andyzhshg]

昨天在 128G m4max 的 mac studio 上用 ollama 试了下 qwen3.5 ，35B 的那个跑的很快，122b 的也能跑，但是慢很多
不过具体的智商没有仔细看，目前还是在用云端的模型

[Zhuzhuchenyan]

如果想对比 Apple Silicon 的大模型推理性能
https://github.com/ggml-org/llama.cpp/discussions/4167
这里有个非常长的楼，里面由各个芯片的跑 token 速度的数据

[gigishy]

如果不是玩，而是生产力考虑，同事在 64g 内存的 Mac mini 上训练且运行了一个专用端侧模型（蒸馏），关于投资决策和风险模型。智能还可以，明显提高效率很大，且准确性越来越好。