1
CNYoki 9h 15m ago
Apple 直营店可以买到官翻版
|
2
hello365 8h 59m ago
能跑到多大的模型多少 token/s ?
|
3
sentinelK 7h 46m ago
@hello365 目前的话,qwen3.6-27B 4bit 量化的 mlx 版本模型,M5 MAX 128GB 的 macbookpro ,decode 输出可以跑到 30t/s ,prefill 输入可以跑到 700t/s
如果是 moe 模型,比如 qwen3.6-35B-A3B ,能到 100t/s 的输出。 |
4
my3157 6h 58m ago via Android
实测 M2 Max 64G qwen3.6-35B-A3B nvfp4 ,ollama 大概能跑 70+t/s
|
5
SteveRogers 6h 37m ago via iPhone
@sentinelK 买 mac studio 96g 可以满血跑 qwen3.6 吗
|
6
sentinelK 5h 53m ago
@SteveRogers 要等 M5 Max 版本的 studio 出来才行。M4 MAX 的性能比这代低很多,另外,mac 的统一内存是够放满血版本(非量化)的 qwen3.6 27B 的,但是因为内存带宽,所以性能很差。
|