我觉得目前小模型的训练方向都跑偏了

16 小时 41 分钟前
 qdwang

小模型(<10B 的模型)都学着 qwen 去卷 agentic 了。但是编程的人，总会用更大的模型来达到高效率。

反而小模型应该深耕的语言方向，移动端对话方向，都荒废了。

测了近 10 个最新的小模型，只有 Gemma4 E4B 能做好我需求的特定模版下的翻译加分析句子任务。

一个个 benchmark 分数越来越高，却都忽略了最原本的语言能力。

661 次点击
所在节点    分享发现
2 条回复
Yuk1Nooo
13 小时 32 分钟前
我觉得 op 在一定程度上有点倒果为因了，因为小模型也都是用更大的模型当教师模型训/蒸馏出来的。不过当前确实存在如 op 所说的问题。
yexiaoqi
12 小时 45 分钟前
大模型还没内卷到一定的高度，小模型方向就不会定型吧

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1244767

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX