研究：词级对齐可预测零样本基准表现

Jeonghoon Kim 等作者发表研究，提出词级一元交叉熵（UCE）指标，用于衡量预训练语料与基准的词汇对齐程度；该指标与分词器无关，且无需训练模型。在覆盖 10 个零样本基准、4 个预训练语料和 3 个模型规模的从零预训练实验中，UCE 越低（即对齐越高）的语料，在各基准上的零样本准确率越高。 研究还称，按文档级筛选训练文档可带来与机制预测相符的准确率提升；按词级领域对齐为草稿模型做路由，相比通用草稿基线取得可测的吞吐提升。

AI 根据报道生成 · 42 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。