arXiv cs.CL· Kihyun Na, Injung Kim·· 11 小时前AI 评分31
ReviewMap：区分同行评审评论中的评估行为与自动化边界
ReviewMap: Mapping Evaluative Acts and Automation Boundaries in Peer-Review Comments
AI 导读
ReviewMap 框架将同行评审评论分为两类评估行为：对论文主张与学术标准的评估，以及对贡献价值与会议匹配度的校准，并按行为类型条件性应用细粒度属性。在 500 篇 ICLR 2026 论文上经多模型 LLM 共识验证，行为层在模型间 κ ≥ 0.75 的操作准则下可可靠自动化，属性层则需人工监督，由此划定自动化边界。
正文 · AI 翻译
摘要：同行评审意见检查论文做了什么，并判断其为何重要，但现有方案无法区分这两种评价行为。我们认为，将这两种行为显式化，并衡量 LLM 识别它们的可靠程度，是负责任地开展 LLM 辅助评审分析的前提：人类需要审视评审判断及其依据。这为 NLP 在同行评审中界定了比完全自动化更诚实的使命。我们提出 ReviewMap，一个将每条意见分类为对主张与学术标准的评估，或对贡献价值与期刊/会议匹配度的校准的框架，并按行为类型有条件地应用更细粒度的属性。通过多模型 LLM 共识应用于 500 篇 ICLR~2026 论文，行为层在操作准则下（模型间 $\kappa \geq 0.75$）被证明可可靠自动化，并得到对 470 条开发意见的五人验证支持；而属性层需要人工监督，界定了可测量的自动化边界。在语料层面，17% 的评审者-论文实例不含小组编码的校准，且小组编码的校准占比在优点中几乎是缺点中的 $3\times$。这一边界为三种可供性提供依据：为评审者将“先评估后校准”工作流操作化的评审指南、为作者提供的逐条意见反驳策略支架，以及为领域主席提供的讨论阶段仪表盘。
| 评论： | 27 页，5 幅图，19 张表 |
| 主题： | 计算与语言（cs.CL）；人机交互（cs.HC） |
| 引用为： | arXiv:2611.07489 [cs.CL] |
| （或 arXiv:2611.07489v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07489 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kihyun Na [查看邮箱]
[v1]
2026 年 11 月 5 日星期四 05:49:01 UTC（162 KB）
来源：arXiv cs.CL · arxiv.org