M3 Ultra 的 Mac studio 或许是本地部署大模型的最佳利器？

[unboy]

144 总核心，512G 统一内存，819G/s 带宽，超越 M1 Ultra16.9 倍的 LLM 令牌生成速度，看起来是本地部署 LLM 的最佳利器？双机 EXO 或单机 INT4 即可部署 Deepseek 671B 全量模型？

[Donaldo]

exo 会让速度变慢很多。

[mumbler]

只是为了能跑的话，阿里云租一台 512G 内存 ECS ，一个小时几元钱而已，但慢得完全不可用

其实不用追求 671B ，按目前发展速度，明年 70B 或者 32B 就能达到现在 671B 的水平

[ajaxfunction]

@mumbler 阿里云的 512g 内存，和 mac 的 512g 内存不是一回事吧。
mac 是内存=显存，

[mayli]

最佳指的是体积最小？

[whileFalse]

我来发表暴论：需要自己研究怎么部署 671B 的人，99%不需要本地 671B 。

[mandex]

怎么不是 M4 Ultra 啊？

[idblife]

@Donaldo
实际测试过？

[Donaldo]

@idblife #7 是啊，它传输靠的是网络。