AI 编程时，使用英文进行输入输出是否更加节省 token

[qiubo]

下面是 kimi 给出的结论，是否正确

[cmos]

用 BPE 分词器，英语子词合并充分，中文语义密度高，不存在也不可能存在 40%这么高的差距。相信月之暗面，不如相信我是秦始皇。搞这些，不如前置一个小模型实现精炼、去除赘余，这才是真正的提高效率和利用率。

[TimePPT]

@imes 哈哈哈对的。
这个跟 tokenizer 算法强相关，各家各模型其实是有差的。
另外，OpenAI 家自己有个 token 计算器，如果有兴趣自己试试就知道了。
https://platform.openai.com/tokenizer

[TimePPT]

另外，现在很多模型服务厂商是有 cache 的，走 cache 也会便宜不少——比如 OpenAI 家的说明： https://platform.openai.com/docs/guides/prompt-caching
所以你每次请求，多次 context 重复部分实际上花不了多少钱，直接按裸 token 算钱实际上是算多的

[yh7gdiaYW]

会少但没有这么明显，我自己的应用测算下来把输入转为英文能节省 20%-30%的 token ，模型是 4o 。国产模型的话差距应该会更小甚至反过来

[Dlad]

感觉差异来自“子任务：翻译”。跟信息密度关系倒不大。

[xuanwu]

第一个例子，用二楼的 token 计算器测“我爱人工智能” 是 4 个。
自己先做下实验为好。

[encounter2017]