斯坦福研究：BPB 等指标并非完全与分词器无关

Rohan Paul· @rohanpaul_ai · X·2026-11-06 04:40· 39 分钟前AI 评分45

AI 导读

斯坦福论文指出，没有任何指标能在所有意义上与分词器无关，因此比较不同分词器时不能只信单一分数，还要检查模型是否答对。研究用未训练模型和同一配方不同分词器的已发布模型测试：什么都没学到的模型 BPB 仍随分词器变化，英文文本在约 24K 词表时 BPB 最好，但准确率仍为随机水平。在不同分词器训练的模型上，BPB 与任务分数的相关性仅在 +0.02 到 −0.30 之间。

正文 · 原文

斯坦福新论文发现，没有任何指标能在所有意义上与分词器无关，因此任何比较分词器的人都不应只信单一分数，还应检查模型是否答对。

为比较使用不同分词器的模型，研究者通常报告 bits-per-byte（BPB），即用字节数而非 token 数来除损失。许多论文称其与分词器无关。

他们评估了均匀猜测的未训练模型，以及共享同一配方但使用不同分词器的已发布模型。他们还复核了一项已发表的说法，即另一种据称对分词器中立的指标与 BPB 一致。

什么都没学到的模型，其 BPB 仍因分词器而异，英文文本在约 24K 词表时得分最好，而准确率仍停留在随机水平。在使用不同分词器训练的模型上，BPB 与任务分数的相关性仅在 +0.02 到 −0.30 之间。

比较分词器时，不要把更低的 BPB 当作模型更好的证据，在选定词表前应先检查同一文本上的任务准确率。

来源：Rohan Paul · x.com