arXiv cs.AI· Hai Lu, Yichen Luo, Luping Yu·· 3 天前AI 评分46
LLM 在同行评审中表现如何？来自金融与会计领域的证据
How Well Do LLMs Perform in Peer Review? Evidence from Finance and Accounting
AI 导读
GPT-4o 对 2024 年 AFA 和 NBER 金融会议论文的评审打分，比作者声誉更能预测论文能否在未来两年发表于三大金融顶刊——得分高一个标准差的论文发表概率高 44%。该信息来自模型对正确性和表述的判断，而其对原创性和重要性的判断不携带任何预测信息，强调重要性的评审指南也无帮助。这一"正确性 vs 贡献性"的分野在会计论文和更新的 GPT-5 上同样成立。
正文 · AI 翻译
摘要：审稿人越来越多地使用大语言模型（LLM），而金融与会计期刊对是否允许使用意见不一。我们探究模型能完成审稿人工作中的哪些部分。GPT-4o 的训练数据截止于 2024 年会议季之前，我们让它审阅 2024 年 AFA 和 NBER 金融会议上展示的论文，并将其判定结果与这些论文此后两年内在三大金融期刊上的发表情况进行比较。在剔除作者声誉因素后，模型评分高出一个标准差的论文发表可能性高出 44\%。这一结果并非由前视偏差所致，因为模型并不记得这些结果。该信息来自模型对正确性和阐述的评判。其对原创性和重要性的评判则不含任何信息，而强调重要性的审稿指南也无济于事。正确性与贡献之间的这种分野在会计论文和更新的模型 GPT-5 上同样成立。LLM 能核查研究是否正确，却不能判断其是否重要。技术性核查可以交给模型，而对贡献的判断仍应留给人。
| 主题： | General Finance (q-fin.GN)；Artificial Intelligence (cs.AI) |
| 引用为： | arXiv:2610.18435 [q-fin.GN] |
| （或 arXiv:2610.18435v1 [q-fin.GN] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18435 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Luping Yu [查看邮箱]
[v1]
2026年10月13日 星期二 14:11:35 UTC（46 KB）
来源：arXiv cs.AI · arxiv.org