研究发现人类能通过辩论修正判断，较弱 AI 模型则不能
Humans Correct Their Judgments Through Debate, but Weaker AI Models Do Not
arXiv 论文研究 AI Safety via Debate 协议能否让人类和 LLM 监督者克服先验信念、接近正确答案。结果显示，辩论能提升人类判断者的准确率，而单一专家论证的咨询基线做不到；对较弱语言模型，多数设置下辩论没有带来可比增益，甚至可能降低准确率。多判断者协议中加权投票对人类监督者准确率最高，但对 LLM 无论判断者数量如何增加都无显著提升。
作者：Maria Victoria Carro、Denise Alejandra Mester、Facundo Nieto、Oscar Agustin Stanchi、Guido Ernesto Bergman、Giovanni Franco Gabriel Marrafini、Trinidad Borrell、Guido Freire、Joaquin Salvador Machulsky、Mario Alejandro Leiva、Ana Lopez、Nicolas Spinelli、Luca Nicolas Forziati Gangi、Eitan Sprejer、Federico Barrera Lemarchand、Gerardo Simari、Maria Vanina Martinez
摘要：我们如何才能有效监督超越人类智能的 AI 系统？通过辩论实现 AI 安全（AI Safety via Debate）提出，由两个 AI 系统就对立立场展开辩论，再由一名裁判——人类或较弱的模型——判定哪一方正确。通过帮助监督者提供高质量的训练信号，辩论旨在促使能力超过我们的 AI 系统表现出真实且安全的行为。然而，人类判断并非中立：人们往往依赖偏见，而先进的 AI 系统可能会学会利用这些偏见。本文借鉴集体智能与社会认知的洞见，研究辩论能否在人类和 LLM 监督者已有先验信念的情况下，引导他们走向真相。我们评估了多种协议配置，还探索了受群体智慧启发的设置，例如裁判的数量与多样性，以及包括审议和投票在内的交互机制。总体而言，我们发现，对于人类裁判，辩论相对于先验信念提高了准确率，而由单一专家为某一答案辩护的咨询基线则没有这种效果。然而，对于较弱的语言模型，结果则好坏参半：辩论在大多数设置下没有带来可比的增益，甚至可能降低准确率。在多裁判协议中，加权投票对人类监督者产生了最高的准确率；而对于 LLM，即使裁判数量增加，这些协议也都没有显著提高群体准确率。值得注意的是，在非多样化审议协议中，少数派裁判的行为表明，在对称设置下，错误立场可能比正确立场更具说服力。这些发现支持将辩论作为实现可扩展人类监督的一条可行路径，但也对其在较弱 AI 监督者中的益处提出质疑，并引发了对高风险场景中全自动训练与控制流程的担忧。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.28539 [cs.AI] |
| （或 arXiv:2610.28539v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28539 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Denise Alejandra Mester [查看邮箱]
[v1]
2026年10月20日星期二 17:10:36 UTC（2,566 KB）
来源：arXiv cs.AI · arxiv.org