arXiv cs.CL· Shaoliang Yang, Jun Wang·· 10 小时前AI 评分24
论文发现：论文接收预测器排名一致，不代表段落改写评分一致
Ranking Agreement Does Not Reveal Paragraph-Edit Agreement in Two Released Paper Acceptance Predictors
AI 导读
研究比较了一个词与文档特征分类器和两个基于同一 30 亿参数语言模型微调的纯文本接收预测器，在 198 篇 ICLR 论文上考察原始论文与段落改写后的排名一致性。分类器与其中一个预测器排名高度接近、与另一个中等接近，但在"哪些改写能提高分数"上均无可检测的一致性。以完整 32 位精度重打分后编辑一致性仍接近零，每个预测器在五选一中平均原始分数仅比随机选择高不到 2 分（满分 100）。
正文 · AI 翻译
摘要：快速接受分类器可以为较慢的评估器挑选修订版本。我们考察现有论文上的一致性是否支持这种用法。我们将一个基于词和文档特征的分类器与两个已发布的纯文本接受预测器进行比较，后者由同一个三十亿参数的语言模型微调而来。对于来自国际学习表征会议的 198 篇论文，我们比较了原始论文和段落改写版本的模型排名，改写版本经过自动筛选，以确保事实、论断强度和归属不变。该分类器对原始论文的排名与一个预测器高度接近，与另一个预测器中等接近，但在哪些改写会提高分数方面，与两者均未显示出可检测的一致性。预先指定的测试使用了降低的数值精度。舍入误差主导了微小的分数响应。因此，作为事后检查，我们以完整的 32 位精度重新计算了已发布权重的分数；编辑一致性仍接近于零。在此精度下，当每个预测器在每篇论文的五种改写中选择时，其平均原始分数比随机选择高出不到 2 分（满分 100 分）。证据涵盖表述改写和来自同一系列的两个开放预测器；向高成本评估器的迁移仍未测试。因此，修订选择器应针对其排序的修订版本，与预期评估器进行核对。
| 评论： | 含补充方法和结果共 38 页；10 幅图和 22 张表 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.06789 [cs.CL] |
| （或 arXiv:2611.06789v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06789 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shaoliang Yang [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 17:03:30 UTC（607 KB）
来源：arXiv cs.CL · arxiv.org