arXiv cs.CY· Ronald J. Bodkin, Bahrad A. Sokhansanj, Gillian K. Hadfield·· 10 天前AI 评分27
用理解审计缓解自动化 AI 研究的风险
Comprehension Audits to Mitigate Risks from Automated AI Research
AI 导读
针对前沿 AI 实验室大部分代码已由 AI 编写、人类监督不足的安全风险，研究者提出"理解审计"机制：由负责人员向独立审计员解释研发贡献以证明其理解，未通过则暂停该贡献的开发直至整改，重复失败后果升级。对领先开源 AI 项目的分析发现，代码产出增加而每行代码的人工评审评论率下降，自动化账号的评论率更低。
正文 · AI 翻译
摘要：AI 已经在为前沿 AI 实验室编写大部分代码。如果缺乏足够的人工监督，这会带来安全风险。现有工作提出了最低理解阈值和无辅助检查来缓解这一问题。然而，据我们所知，目前还没有已发布的前沿 AI 保证机制，要求提供已证明的证据，表明负责的人类理解他们正在构建的内容，以此作为继续开发或使用的前置承诺条件。我们提出理解审计，这是一种新颖的开发过程保证机制，其中负责人员向审计员解释研发贡献以证明其理解。通过独立管理和分级报告，它们提供了一道关卡：某项贡献的开发会因未能证明人类理解而停止，直到问题得到补救，并对反复失败施加逐步升级的后果。我们对领先开源 AI 项目的分析发现，代码产出增加，而每行代码的人工审查评论率下降，自动化机群账户的比率则低得多。我们主张实验室应配备嵌入式独立审计员来开展此类审计。
| 评论： | 23 页，2 幅图，11 张表 |
| 主题： | 计算机与社会（cs.CY）；人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.10064 [cs.CY] |
| （或 arXiv:2610.10064v1 [cs.CY] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10064 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ronald Bodkin [查看电子邮件]
[v1]
2026 年 10 月 7 日星期三 13:30:47 UTC（386 KB）
来源：arXiv cs.CY · arxiv.org