目前哪个大模型适合本地部署用来纯翻译？

[Noby]

目前用的 qwen2.5:3b 设置本地浏览器的沉浸式翻译插件搭配 ollma 翻译，但是我的 m2 性能可能有些不太行，翻译还是要等一会。现在国内的大模型应该也有比较适合翻译，并且比较轻量的模型了，大家有什么比较好的推荐吗？或者更好的方案实现网页翻译。

[wwhc]

Qwen3 30B-A3B ，可以直接部署到任何有足够内存的电脑，包括笔记本电脑，使用/no_think 参数生成 token 的速度应该能满足大部分需求

[orzorzorzorz]

直接下 ollama 上的 qwen3:14b-q4_K_M 或者 gemma3:12b-it-q4_K_M 。两者在 4060Ti 16G 下 no think 的表现挺好，至少体感下，速度快，也没那么多机翻感。
具体讨论可以看看这个 https://github.com/SakuraLLM/SakuraLLM/issues/136 ，能对比一下翻译效果。

[5had0w]

或许你可以试试 LibreTranslate ，这个不是 AI 模型，是纯翻译模型

[SSang]

qwen2.5:3b 都跑不动的话，其他模型应该也不太行了，不然试试 qwen2.5:0.5b ？不然还是调用 API 吧，API 调用的话 qwen2.5-7B 基本上能做到秒级的翻译了。我视频字幕实时翻译和网页翻译现在用的就是 qwen2.5-7B （调用 siliconflow 的 API ）

[SSang]

如果一定要本地的话，可以看看 ggml 的 0.5B 模型，我感觉这个是真有点东西，我本地补全用的 qwen2.5-coder:0.5B ，i3-14100 的 CPU ，占用 30% 左右，也能做到 1s 左右的响应时间。