跳到正文
arXiv cs.CY· C\'esar Leblanc, Lukas Picek·· 9 小时前AI 评分32

作者如何看待 AI 辅助审稿:一项混合方法试点研究

Authors' Response to AI-Based Reviews: A Mixed-Methods Pilot Study

AI 导读

一项针对 LifeCLEF 2025、LifeCLEF 2026 和 CVWW 2026 三个计算机科学会议队列的混合方法试点研究显示,92 份问卷中 89%(82/92)的作者认为 AI 审稿意见有用,并采纳了至少部分建议用于修改论文。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:背景:大型语言模型越来越多地被用于辅助学术同行评审,但关于作者如何评价其反馈并据此修改论文的证据仍然有限。
方法:我们研究了作者在三个计算机科学队列中,在人工评审之外收到辅助性 AI 评审的体验:LifeCLEF 2025、LifeCLEF 2026 和 CVWW 2026。评审后问卷共获得 92 份回复,涉及 71 篇论文。我们使用描述性统计对封闭式回答进行汇总,并通过主题分析考察自由文本回答。
结果:大多数回复认为 AI 评审有用(82/92(89%)),且 82/92(89%)报告在修改中至少采用了部分建议。作者报告称,AI 发现了人工评审者遗漏的问题(76/92(83%))。然而,44/92(48%)对 AI 反馈的信任程度低于人工反馈,58/92(63%)报告了错误或误导性评论。作者重视那些提升清晰度和可复现性的建议,但也描述了被忽视的证据、不当要求,以及在冗长评审中难以找到有用评论的问题。他们强调需要核查 AI 反馈,并保留对稿件处理方式的控制权。85/92(92%)支持未来由人类和 AI 共同评审;83/92(90%)倾向于提前通知,73/92(79%)支持明确同意。
结论:作者通常认为 AI 评审对修改有用,但对其信任程度不及人工评审。这些探索性发现支持 AI 发挥辅助作用,并辅以人工监督、明确披露和作者同意。这些发现并不能证明 AI 可以取代人工评审者或提升稿件质量。
主题: 计算机与社会(cs.CY);人工智能(cs.AI)
引用为: arXiv:2605.16623 [cs.CY]
  (或 arXiv:2605.16623v2 [cs.CY] 用于此版本)
  https://doi.org/10.48550/arXiv.2605.16623

由 DataCite 颁发的 arXiv DOI

提交历史

来自:César Leblanc [查看电子邮件]
[v1] 2026年5月15日星期五 20:43:55 UTC(184 KB)
[v2] 2026年11月18日星期三 20:23:40 UTC(529 KB)

来源:arXiv cs.CY · arxiv.org