arXiv cs.AI· Lennart B\"urger, Piotr Komorowski, Moritz Weckbecker, Evgenii Kortukov, Aakriti Jain, Sebastian Lapuschkin, Wojciech Samek·· 3 天前AI 评分49
研究发现：即使 CoT 对答案必要，思维链监控仍可能失效
Chain of Thought Monitoring Can Fail Even When CoT Is Necessary
AI 导读
前沿实验室用思维链（CoT）监控检测 AI 系统的不当行为，但一项研究证明，即使 CoT 对答案必要，监控失败依然存在，说明"必要/非必要"的二分原则过于粗糙。作者提出四级 CoT 必要性层级，并在三个最低层级上通过干预实验测量可监控性，在困难预测任务上均发现监控失败。在医疗诊断任务中，患者性别和一项临床属性分别影响至少 19% 和 24% 的正确回答，却几乎从未被 CoT 表述出来。
正文 · AI 翻译
摘要：前沿实验室使用思维链（CoT）监控来检测 AI 系统的不当行为。然而，其可靠性仍鲜为人知。我们将此归因于缺乏一个成功的组织原则，从而无法就不同情形下的监控可靠性得出可推广的结论。近期研究将监控失败归因于 CoT 对答案并非必要，并主张当 CoT 必要时，它才变得可监控。我们通过证明即使 CoT 对答案必要，监控失败依然存在，表明这种必要/非必要的二元组织原则过于粗糙。为此，我们引入一个基于四个 CoT 必要性层级体系的更细粒度组织原则。在此层级体系基础上，我们开发了一个框架，通过干预实验在最低的三个层级上衡量 CoT 可监控性。我们在现实且困难的预测任务上展示了这三个层级的监控失败。在一项困难的医学诊断任务中，患者性别和一项临床属性分别在至少 19% 和 24% 的具有必要 CoT 的正确回答中影响了答案，然而它们的影响几乎从未被明确表述。这些结果表明，即使 CoT 是必要的，也不能保证其可监控。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.18105 [cs.AI] |
| （或 arXiv:2610.18105v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18105 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Lennart Bürger [查看电子邮件]
[v1]
2026年10月13日星期二 10:22:01 UTC（2,102 KB）
来源：arXiv cs.AI · arxiv.org