arXiv cs.CL· Yao Huang, Yifan Wang, Yitong Sun, Yichi Zhang, Yinpeng Dong·· 11 小时前AI 评分42
TraceMRT：针对隐蔽失准的思维链监控压力测试
Stress Testing Chain-of-Thought Monitoring Against Covert Misalignment
AI 导读
研究者提出 TraceMRT，一个自动化的轨迹级监控红队框架，将侧任务重构为主任务的连贯子目标，通过黑盒攻击发现 GPT-5.2 和 Claude-4.5 等顶尖监控模型仍存在显著漏洞。为此提出贝叶斯轨迹监控框架，融合全局上下文与局部片段证据检测隐蔽失准，达到 0.91 AUC 和 0.74 TPR@FPR=0.05。
正文 · AI 翻译
摘要：随着 LLM 智能体在自主性方面快速提升，绕过安全约束的隐藏目标风险变得越来越可能。思维链（CoT）监控提供了一种关键的控制机制，通过读取智能体的推理并在错位转化为行动之前将其标记出来，然而其可靠性取决于对其进行压力测试的红队实验的真实性。现有的红队工作依赖于共享模板，例如将侧任务设定为先决条件，这会将侧目标视为外生插入，而针对特定任务、基于上下文的规避策略则研究不足。因此我们提出：CoT 监控在面对策略性隐藏错位的智能体时有多稳健？为回答这一问题，我们引入了 TraceMRT，一个自动化的轨迹级监控红队框架，它将侧任务重新构建为主任务的连贯子目标，并搜索轨迹塑造策略，使其诱导的轨迹在完成错位目标的同时读起来像自然执行。通过对 GPT-5.2 和 Claude-4.5 等最先进监控器的黑盒攻击，我们揭示了即使是顶级模型也存在重大漏洞。为应对这些漏洞，我们提出了贝叶斯轨迹监控框架，整合全局上下文和局部片段证据以检测隐蔽的错位。在实证上，我们的方法以 0.91 AUC 和 0.74 TPR@FPR=0.05 显著巩固了监控器的稳健性。
| 评论： | Advances in Neural Information Processing Systems (NeurIPS), 2026. 51 pages, 8 figures |
| 主题： | 计算与语言 (cs.CL)；人工智能 (cs.AI)；机器学习 (cs.LG) |
| 引用为： | arXiv:2611.07586 [cs.CL] |
| （或 arXiv:2611.07586v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07586 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yifan Wang [查看邮箱]
[v1]
2026年11月5日星期四 07:39:01 UTC (1,162 KB)
来源：arXiv cs.CL · arxiv.org