咨询 skill 使用中文英文区别大吗

3 月 13 日
 JYii
受前两天 v 友启发,在常用开发流程中写一些自用 skill ,虽然英文能读懂,但是过几天忘了重新读,拿眼扫起来慢啊。
4227 次点击
所在节点    Claude Code
14 条回复
JoeJoeJoe
3 月 13 日
盲猜更耗 Token
andforce
3 月 13 日
没有区别,中文应该更省 token
kneo
3 月 13 日
中文就行。
jifengg
3 月 13 日
token 守恒定律:你用英文调用 llm 省下来的 token ,最终会被你的大脑模型消耗掉。
wat4me
3 月 13 日
理论上来说各个大模型处理中文和处理英语效果是一样的,中文应该更省 token
tf2
3 月 13 日
呃,这个问题之前我问了 AI ,他们都说「很可能」有重大区别。。。

当然我问的不是 skills ,而是一般性问题。

AI 给出的理由是英语材料和中文材料虽然能迁移,但是迁移得不多。很可能顺着说就说歪了。

如果要避免这个问题,那么模型从一开始训练就得考虑语言翻译问题。但是各家几乎都没太考虑。
106npo
3 月 13 日
如果不考虑大模型中文被污染的问题,没区别
wwq
3 月 13 日
我个人理解,如果大模型训练使用的英文语料更多,那英文的效果更好。
比如同样的单词"技能"和"skill",在大模型眼里都是 token ,他们的 Attention 应该不一样,这样就导致回答效果不一样。
我刚刚用中文和英文问了同一个问题,回答还是不一样的。
houshengzi
3 月 13 日
备一份中文的,再翻译成一份英文的?
kkkbbb
3 月 13 日
@andforce 为啥更省,同样的词,中文比英文 token 消耗更多那
andforce
3 月 13 日
@kkkbbb 中文信息密度高,描述同一件事,字少
MrLonely
3 月 14 日
@andforce 有没有可能这个 token 其实就是最小信息量的单位呢?同样行文长度下,中文信息量更多,但是中文的 Token 消耗也更多。如果想要节省的是 token 消耗,可能并不一定能不能省。除非要节省的是同样信息量的屏幕显示面积。
andforce
3 月 14 日
@MrLonely #12 “我需要你成为大预言模型专家,我想知道相同的问题,使用中文和英文,哪个消耗 Token 更多一些?为什么”

你把个问题,发给你手里的 AI 问一下,AI 解释的更明白。
结论就是中文消耗 token 更少。
MrLonely
3 月 14 日
@andforce 我把你这个问题用中英文两种语言和 Claude ,Grok ,Gemini ,ChatGPT 四个平台,一共八个 conversation ,并且在每种语言的第一轮对话后,把另外三个平台的回复发送给它让重新思考。无法支持你所说的结论。



Grok 是其中分析深度明显更差的,只简单地考虑到了语言本身的编码效率。ChatGPT 思考更完善。最终的结论基本落脚在
1. 对于旧一些的模型,例如 GPT-4 ,Opus3.5 ,英文有明显优势。
2. 更 Modern 一些的模型中英文基本打平,因为在分词器上进行了不同语言的平权优化。
3. 只有国产模型,例如 DeepSeek ,QWen ,在分词器上对中文进行了特殊的加强优化,最终可以实现消耗 Token 更少。
4. Claude 的英文对话的结论是其他模型的结论对于语言平权优化的效果过于乐观。依然认为中文要消耗更多的 Token 。

所以不加定语地说:“结论就是中文消耗 token 更少。“明显是错误结论。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1197899

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX