百度文心和其他模型的一个重大的不同点

[nomagick]

百度的模型是针对中文的，它的 Tokenizer 对英文进行编码的效率特别低，大概两个字母一个 token ，接近字符计数

现在市面上其他的模型基本上是 BPE 编码，编码中文的效率相对低，token 大概是中文字符数*2 的程度

总的来讲在其他模型里面中文水土不服，而在百度这里英文水土不服，而其水土不服的程度超过中文在其他模型的水土不服程度

从结果看，用于 GPT 的英文 prompt 不能直接用于文心，prompt 必须改成中文，并且回复大概率也是中文，做不了国际化的出海应用，只能国内自己用。

可以说是内循环的急先锋了。

[whileFalse]

中文的 prompt 能用于 gpt 吗？

[nomagick]

@whileFalse 能啊怎么不能

[whileFalse]

那是不是 gpt 也直接用中文 prompt 就行了

[nomagick]

@whileFalse 不是