arXiv cs.CL· Sai Suresh Macharla Vasu, Sumedh Santosh Joshi, Philipp Christmann, Ivaxi Sheth, Ruta Binkyte, Koel Dutta Chowdhury, Raouf Kerkouche, Hui-Po Wang, Mario Fritz·· 14 小时前AI 评分52
研究揭示 LLM 同行评审中的语言风格偏见
Style over Substance? Linguistic Bias in LLM-based Peer Review Copy title
AI 导读
该论文提出一个受控实验框架，通过系统改写论文的语言风格来研究 LLM 同行评审中的偏见。改写分为两类，一类模仿英语母语或非母语写作特征，另一类呈现高或低置信度的语言特征，且设计上保持科学内容不变。用不同 LLM 审稿人评估后发现，审稿人会系统性地奖励自信的措辞，与科学内容无关。
正文 · AI 翻译
摘要：近年来，提交至主要 AI 会议的论文数量急剧增加，大幅加重了研究人员的同行评审工作量。与此同时，大型语言模型（LLM）正越来越多地被用于支持同行评审，既有个体审稿人使用，也有会议组织方使用。尽管 LLM 的能力已有显著提升，但其评估结果可能受到与科学内容无关的语言特征的影响。在本工作中，我们引入了一个受控实验框架，通过系统性地扰动研究论文的语言风格来研究此类效应。具体而言，我们将论文改写为呈现以下特征：(i) 与英语母语或非母语写作相关的语言特征，以及 (ii) 高置信度或低置信度的语言特征。为构建这些干预，我们基于语言学文献推导出细粒度的改写指令，并使用 LLM 加以应用。关键在于，我们的干预旨在保留底层的科学内容。随后，我们使用不同的 LLM 审稿人对生成的论文进行评估。我们的实验揭示了基于 LLM 的同行评审中的一个关键脆弱性：审稿人会系统性地奖励自信的修辞，而无论科学内容如何，这引发了对其评估稳健性的严重担忧。
| 评论： | 预印本。已提交至 ICLR 2027 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.35254 [cs.CL] |
| （或 arXiv:2610.35254v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35254 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sai Suresh Macharla Vasu [查看电子邮件]
[v1]
2026年10月26日星期一 11:34:31 UTC（980 KB）
来源：arXiv cs.CL · arxiv.org