arXiv cs.AI· Qiang Fu, Xinyue Li, Andre Wibisono, Arman Cohan·· 11 小时前AI 评分31
学习被监控：面向思维链可监控性的因果边界与干预感知后训练方法
Learning to Be Monitored: Causal Bounds and Intervention-Aware Post-Training Recipes for Chain-of-Thought Monitorability
AI 导读
研究指出，Guan 等人提出的最小准则敏感度 TPR_mc 只是干预所致目标行为因果检出率的上界，会高估监控器实际检出率，并据此推导出互补下界形成更紧的评估框架。作者构建覆盖多种干预类型的对照—干预配对训练数据集，基于 off-policy 自蒸馏、强化学习和 on-policy 自蒸馏设计三种干预专用训练方法，在多种模型—监控器配置下均普遍提升 CoT 可监控性。代码已公开。
正文 · AI 翻译
摘要：思维链（CoT）监控旨在从大语言模型（LLM）的思维链中检测潜在的有害行为。基于干预的评估通过考察当目标行为发生时，监控器能否从思维链中检测出干预的作用来衡量这一特性，通常使用~\citep{guan2025monitoring} 提出的最小准则敏感度（$\mathsf{TPR_{mc}}$）。然而，在干预下观察到的目标行为未必由干预引起，我们表明该指标可能高估监控器检测到实际由干预引起的目标行为的频率。具体而言，我们将 $\mathsf{TPR_{mc}}$ 确立为该因果检测率的上界，并推导出一个互补的下界，从而为思维链可监控性提供了一个更紧致的评估框架。借助该框架，我们研究能否训练 LLM 使其思维链更易于监控。我们首先构建了一个配对的控制—干预任务训练数据集，涵盖多种干预类型。利用该数据集，我们基于离策略自蒸馏、强化学习和同策略自蒸馏设计并应用了三种针对特定干预的训练方法，以训练每个基础模型的不同变体。在各种模型—监控器配置下，在我们的扩展评估框架中，这三种方法总体上均优于相应的基础模型，提升了思维链可监控性。我们的代码可在 此 https URL 获取。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.31733 [cs.LG] |
| （或 arXiv:2610.31733v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.31733 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Qiang Fu [查看邮箱]
[v1]
2026年10月22日 星期四 16:00:17 UTC（137 KB）
来源：arXiv cs.AI · arxiv.org