面向 AI 安全的人类与 AI 互补性研究
Towards Human-AI Complementarity for AI Safety
研究构建了已知最大的安全相关人类-AI 互补性评测套件，覆盖 8 个数据集、6 个领域共 3,957 个实例，并收集 416 名人类评分者的 35,613 条判断，发现存在可观的互补效应空间。但测试的辅助方法反而让人更少纠正 AI 错误，即使人类整体准确率上升；所测试的混合方法平均而言相比更优的单一来源提升有限。
作者：Sander Lanbo Shi、Miranda Anna Christ、Eric Modesitt、Andrew Louis、Konrad Cheng、Brandon Thai Tran、Sewoong Lee、Ratnakar Pawar、Gaia Molinaro、Juliana Bain、Nandika Donthi、Maja Pavlovic、Annya Dahmani、Francesca Bianco、Abhishek Shah、Tyler Crosse、Arth Singh、Karissa Huang、Sukanya Krishna、Konstantinos Voudouris、David Demitri Africa、Joshua Jacob、Rishub Jain
摘要：随着每一代新模型的出现，人类需要评估的输出变得更长、更复杂，因此安全地监督 AI 对人类而言日益困难。为缓解这一挑战，我们可以利用互补性：当人类和模型犯下不同的错误时，将二者的判断结合起来，可能产生比任何一方单独给出的更强的监督信号。我们在贴近现实、与安全相关的场景中研究了这一机会，贡献了目前已知规模最大的此类任务套件（涵盖 8 个数据集、6 个领域的 3,957 个实例），以及一个用于在匹配条目上衡量人类、AI 和人类-AI 表现的数据平台与流程。我们收集了来自 416 名人类评分者的 35,613 条判断，发现互补效应存在相当大的发挥空间。我们还发现，在我们测试的辅助方法下，人类评分者纠正 AI 错误的频率反而更低，即使人类整体准确率有所上升；而我们测试的混合方法平均而言相比更好的单一来源提升甚微。尽管互补性是实现安全监督的一个重要且可行的工程目标，但实现它仍是未来工作中的一个开放挑战。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.24969 [cs.AI] |
| （或本版本的 arXiv:2610.24969v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.24969 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Lanbo Shi [查看邮箱]
[v1]
2026年10月18日 周日 02:49:28 UTC（857 KB）
[v2]
2026年10月27日 周二 06:46:31 UTC（856 KB）
来源：arXiv cs.AI · arxiv.org