arXiv cs.CL· Jeonghoon Kim, Woojin Chung, Woomin Song, Cheonbok Park, Nako Sung, Jinwoo Shin·· 12 小时前AI 评分34
预训练数据的词汇印记：UCE 可无模型预测零样本基准表现
The Lexical Imprint of Pre-training Data
AI 导读
研究提出词级一元交叉熵（UCE）这一与分词器无关、无需模型的指标，用于衡量预训练语料与基准的词汇对齐程度。在覆盖 10 个零样本基准、4 个预训练语料和 3 个模型规模的受控从零预训练中，UCE 越低（对齐越高）的语料在各基准上零样本准确率越高。文档级筛选训练文档可带来机制预测的准确率提升，提示词级按领域对齐路由草稿模型则相对通用草稿基线取得可测的吞吐提升。
正文 · AI 翻译
摘要：零样本基准准确率中有多少可以由预训练语料与基准目标之间的词级对齐来解释？我们通过词级一元交叉熵（UCE）来研究这个问题，UCE 是一种与分词器无关、无需模型的度量，用于衡量参考语料与目标基准之间的词汇对齐程度。似然训练从预训练语料中塑造模型的预测分布，而基于似然的评估下的零样本得分部分取决于该语料与基准目标之间的词汇对齐。要清晰地追踪预训练数据的词汇印记如何随语料—基准对齐程度而变化，需要受控的从零开始预训练，在保持训练配方固定的同时改变语料身份。在这一受控扫描中，涵盖 $10$ 个零样本基准、$4$ 个预训练语料和 $3$ 个模型规模，我们发现语料—基准词汇对齐（UCE）在每个基准上都与零样本准确率保持一致，与基准对齐程度更高（UCE 更低）的语料取得更高的准确率。同一信号在更细粒度上从测量延伸到控制。在文档层面，通过选择训练文档以最大化与基准的词汇对齐来强化印记，可产生该机制所预测的准确率提升。在提示层面，通过将每个提示路由到其领域语料与该提示词汇对齐程度最高的草稿模型，按提示匹配印记，相比通用草稿模型基线可产生可测量的吞吐量提升。综上所述，预训练语料在基础模型的零样本行为上留下了可测量的词汇印记，而 UCE 提供了一种无需模型的探针，用于衡量参考数据与目标数据之间的词汇对齐。
| 评论： | Neurips2026 相机就绪版本 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2602.10657 [cs.CL] |
| （或 arXiv:2602.10657v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.10657 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jeonghoon Kim [查看邮箱]
[v1]
2026年2月11日星期三 09:01:25 UTC（94 KB）
[v2]
2026年10月26日星期一 06:39:59 UTC（1,576 KB）
来源：arXiv cs.CL · arxiv.org