跳到正文
arXiv cs.CL· Chenguang Wang, Ming Li, Chenrui Fan, Jianpeng Chen, Han Chen, Tianyi Zhou, Dawei Zhou·· 10 小时前AI 评分34

为可信 AI 审稿补上缺失一环:从修辞鲁棒性基准测试到 SciCore Review

A Missing Piece for Trustworthy AI Reviewers: From Benchmarking Rhetorical Robustness to SciCore Review

AI 导读

研究提出"修辞鲁棒性"概念,要求 AI 审稿人对内容相同但措辞不同的稿件给出一致评分,同时保持对不同论文的区分能力,并发布含 1,260 个稿件版本、覆盖 30 种审稿人配置的 RobustReview 基准。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:AI 审稿人可能对以不同措辞报告相同科学内容的手稿给出不同判断,从而可能奖励修辞优化而非科学改进。我们将修辞鲁棒性表述为跨内容保持改写保持稳定与跨论文保持区分度的联合要求。我们推出 RobustReview,一个受控的全手稿基准,包含 1,260 个手稿版本,并评估了 30 种审稿人配置。该基准揭示了虚假鲁棒性,即低改写敏感性与跨论文分数崩塌同时出现,并表明人类对齐与修辞鲁棒性对审稿人的排序不同。此外,所评估的以内容为中心的提示协议并未在不同骨干模型上一致提升鲁棒性。受这些发现启发,我们推出 SciCore,一种双分支审稿人,将全手稿判断与基于提取的结构化科学核心的判断进行平均。该设计将手稿级评估与旨在降低修辞敏感性的内容归一化视图相结合。在我们主要的 GPT-5.5 比较中,SciCore 在基准审稿人中取得了领先的联合稳定性-区分度表现,同时保持了有竞争力的人类对齐。这些结果将修辞鲁棒性确定为一个独立的评估目标,并展示了科学核心审稿在改进该目标方面的潜力。
评论: 35 页,2 幅图,20 张表。已被 AI-Native Academia @ NeurIPS 2026 接收(口头报告)
主题: 计算与语言(cs.CL)
引用为: arXiv:2609.39027 [cs.CL]
  (或 arXiv:2609.39027v2 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2609.39027

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Chenguang Wang [查看邮箱]
[v1] 2026 年 9 月 30 日星期三 05:32:26 UTC(1,195 KB)
[v2] 2026 年 11 月 18 日星期三 19:47:58 UTC(1,195 KB)

来源:arXiv cs.CL · arxiv.org