论文录用预测器排名一致但改写评分不一致

Shaoliang Yang 与 Jun Wang 发表研究，在 198 篇 ICLR 论文上比较一个词与文档特征分类器和两个基于同一 30 亿参数语言模型微调的纯文本录用预测器。分类器对原始论文的排名与其中一个预测器高度接近、与另一个中等接近，但在“哪些段落改写能提高分数”上，分类器与两个预测器均无可检测的一致性。 预先设定的测试使用降低的数值精度；作者随后以完整 32 位精度重打分作为事后检查，编辑一致性仍接近零。每个预测器在五选一中平均原始分数仅比随机选择高不到 2 分（满分 100）。 研究覆盖的是表述性改写和同一家族的两个公开预测器，作者称结论能否推广到代价更高的评估器尚未检验。

AI 根据报道生成 · 50 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。