arXiv cs.AI· Yukun Dong, Linjun Zhang, Tian Zheng·· 11 小时前AI 评分31
作者参与式智能体可复现性审计系统在机器学习会议落地
Author-in-the-loop Agentic Reproducibility Auditing for a Machine Learning Conference
AI 导读
研究者提出一种作者参与式（author-in-the-loop）协作审计流程，把作者声明作为 AI 智能体调查与评估的显式输入，通过结构化清单记录复现说明与局限，并在 GitHub 上用两阶段工作流连接智能体检查与作者澄清、修订和智能体复评。
正文 · AI 翻译
摘要：同行评审期间的可复现性检查要求各方对作者代码应能复现哪些内容形成共识。我们提出一种作者参与式的协作审计方法，将作者的声明作为 AI 智能体调查与评估的明确输入。结构化清单记录复现说明与局限性；GitHub 上的两阶段工作流将智能体检查与作者澄清、修订及智能体重新评估相衔接。智能体分别评估结果是否已被复现，以及作者是否需要提供澄清或进行修复，而人类审稿人负责批准请求并判定疑虑是否已解决。我们在 36 篇会议论文及 133 个实验表格和图表上部署了该系统，经人工审核后提出 20 个问题。后续检查支持关闭所有问题，尽管在某些情况下完整复现仍未得到验证。我们进一步比较了使用完整清单与空白清单的重复审计，以考察作者声明如何影响智能体的调查与评估。我们的工作贡献了一套协作工作流与智能体设计，利用作者知识指导可复现性审计。会议部署提供了实证证据，表明该方法能够通过作者、智能体与审稿人之间的协作，帮助识别并解决可复现性问题。
| 评论： | 23 页，8 幅图，4 张表 |
| 主题： | 人工智能（cs.AI）；人机交互（cs.HC） |
| 引用为： | arXiv:2610.22465 [cs.AI] |
| （或 arXiv:2610.22465v1 [cs.AI] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.22465 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yukun Dong [查看邮箱]
[v1]
2026 年 10 月 15 日星期四 17:28:51 UTC（762 KB）
来源：arXiv cs.AI · arxiv.org