Qwen3.6 MTP GGUF 发布:本地推理 1.4-2.2 倍加速

1 天前
 Fdyo

Unsloth 团队为 Qwen3.6 发布了 MTP ( Multi Token Prediction ) GGUF 量化版本,可 Qwen3.6 的本地推理速度提升 1.4-2.2 倍,精度无任何损失。

除 Qwen3.6 外,Unsloth 这次还回溯发布了 Qwen3.5 系列的 MTP GGUF ,覆盖 0.8B 、2B 、4B 、9B 、27B 、35B-A3B 、122B-A10B 、397B-A17B 全家族。这意味着已经在用 Qwen3.5 系列做本地推理的开发者可以直接迁到 MTP 版本而不换模型。

原文:Qwen3.6 MTP GGUF 发布:本地推理 1.4-2.2 倍加速,精度无损

309 次点击
所在节点    人工智能
1 条回复
hutng
1 天前
之前就开了,我看 Unsloth 文档前几天还是 --spec-draft-n-max 2 ,今天就改成 6 了

刚测了一下,我的配置,6 还不如 2 快了。。
应该是配置不一样,性能也不一样,需要自己测试。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1213746

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX