斯坦福论文：BPB等指标并非完全与分词器无关

斯坦福研究团队发表论文称，没有任何指标能在所有意义上与分词器无关。研究发现，未训练模型什么都没学到时，BPB 仍会随分词器变化；英文文本在约 24K 词表时 BPB 最好，但模型准确率仍为随机水平。 在不同分词器训练的模型上，BPB 与任务分数的相关性仅在 +0.02 到 −0.30 之间。研究者据此建议，比较分词器时不要只看单一分数，还需在同一文本上检查任务准确率。

AI 根据报道生成 · 39 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。