研究称AI模型不同语言Token消耗最高差17倍

人工智能语言公平研究联盟上月发布的研究发现，AI 模型处理不同语言时消耗的 Token 数量差距悬殊：最常用的 20 种语言之间相差 1.5 至 5 倍，在其中一个模型中最多相差 17 倍。 该联盟将这一差异称为“隐性分词器税”，即使用某些语言的用户为同样的内容支付更多 Token。研究结论来自该联盟，报道未说明具体涉及哪些模型及测算方法。

AI 根据报道生成 · 50 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。