fujizx

参与一下

Id：203

我觉得，AI 里的 token 根本不是统一计量单位，
本质更像是 AI 世界的货币。
名字都叫 token ，
但分词不同、内部消耗不同、模型能力不同，
购买力完全不一样，
就像美元、日元、人民币，只是名字统一而已。
厂商在用 ** 度量衡（克 / 米）的口吻跟我们谈生意，实际上执行的是汇率（购买力）** 的逻辑。
所以厂商很愿意用这种自定义下的概念来计费。
现在大家都叫 token ，可能只是行业早期方便理解。
未来或许会慢慢分化，各家推出自己专属的计价单位。
如果要客观比较价值，或许可以参考巨无霸指数，
设定一个全行业统一、固定、不可作弊的标准任务——
比如用固定长度文本做无系统提示、无自由生成的向量编码，
以此衡量不同 AI 计价单位的真实价值。
最终可能形成：多种 AI 货币 + 一个通用基准单位的格局。
我们真正该关注的，不是 token 单价，
而是单位成本下，AI 能完成的真实价值。

@jifengg 分词算法是公开的，但每家模型的词表、实现、特殊符号处理不一样，所以同样文本 token 数不完全统一。
再加上每家的定价，各种套餐的限制，对应的价格也不一样。
这里我想表达的价格，是类似巨无霸指数的意思。差不多质量下完成“同一件任务”消耗的 token 和对应法定货币的数量。

@qzhai 觉得不是单一一个词的问题，叫啥其实都一样。

@zsh2517 嗯嗯就是这个方向，最好像汇率一样展示。

用 edge 了，功能和 chrome 差不多，但是可以薅微软羊毛

@timespy 真好，祝福