arXiv cs.CL· Yaochen Wang, Chenguang Wang, Ming Li, Haomin Zhuang, Xinyue Zeng, Han Chen, Kwesi Adu Cobbina, Dang Nguyen, Dianqi Li, Dawei Zhou, Tianyi Zhou·· 10 小时前AI 评分38
AI 审稿人能否识别论文修改的改进？基于 PaperTrajectory-2026 的大规模研究
Can AI Reviewers See Your Efforts to Improve Your Paper? A Large-Scale Study of Paper Revision Trajectories
AI 导读
研究基于 PaperTrajectory-2026 数据集（涵盖五个 AI 会议的 6,959 条论文修改轨迹）发现，八个 AI 审稿人对大多数重大改进给出的分数保持不变，且对分数变化方向的判断一致性很弱。即使修改获得更高的中性评分，一条简短的负面用户意见也能抹去或逆转这一优势，且不同审稿人之间差异显著。
正文 · AI 翻译
作者：Yaochen Wang、Chenguang Wang、Ming Li、Haomin Zhuang、Xinyue Zeng、Han Chen、Kwesi Adu Cobbina、Dang Nguyen、Dianqi Li、Dawei Zhou、Tianyi Zhou
摘要：AI 审稿人正越来越多地被用于评估科学稿件，但其判断是否反映了作者通过修改所做出的改进，目前仍不清楚。我们使用 PaperTrajectory-2026 研究这一问题，该数据集是 PaperTrajectory 的 2026 年版本，包含来自五个 AI 会议的 6,959 条论文轨迹，并带有沿 14 个维度的变更自动标注以及对整体质量的独立判断。标注显示，重大改进侧重于实证证据和框架构建，而后期修改则倾向于渐进式改进。利用八位 AI 审稿人对稿件各版本的独立评估，我们考察了被标注为重大改进的稿件是否获得更高分数、哪些修改维度与分数变化相关，以及用户意见能否压过观察到的修改增益。对于大多数重大改进，每位审稿人都保持分数不变，且对分数变化方向的一致性很弱。修改维度显示出一些审稿人特有的与分数提升的关联，但预测区分能力有限，且在不同审稿人之间没有一致的指导作用。即使某项修改获得了更高的中性分数，一条简短的负面用户意见也可能抹去或逆转这一优势，且不同审稿人之间差异很大。这些发现表明，实质性修改并未一致地反映在审稿分数中，且观察到的分数提升可能容易受到用户表述的影响，这促使我们开展将稿件证据与整体判断相连接、并在没有科学证据变化时保持稳定的评估。
| 评论： | 含附录共 43 页，8 幅图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.02244 [cs.CL] |
| （或 arXiv:2611.02244v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02244 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chenguang Wang [查看电子邮件]
[v1]
2026 年 11 月 1 日星期日 22:06:26 UTC（1,875 KB）
来源：arXiv cs.CL · arxiv.org