arXiv cs.AI· Han Wang, Yifan Sun, Brian Ko, Mann Talati, Jiawen Gong, Zimeng Li, Naicheng Yu, Xucheng Yu, Wei Shen, Vedant Jolly, Huan Zhang·· 1 天前AI 评分35
MonitorBench：面向大语言模型思维链可监控性的综合基准
MonitorBench: A Comprehensive Benchmark for Chain-of-Thought Monitorability in Large Language Models
AI 导读
研究者提出 MonitorBench，一个系统评估 LLM 思维链可监控性的开源基准，包含覆盖 7 大类 19 项任务的 1,540 个测试实例，并设计两种提示词压力测试设置来量化可监控性的下降程度。
正文 · AI 翻译
作者：Han Wang、Yifan Sun、Brian Ko、Mann Talati、Jiawen Gong、Zimeng Li、Naicheng Yu、Xucheng Yu、Wei Shen、Vedant Jolly、Huan Zhang
摘要：大语言模型（LLM）生成的思维链（CoT）并不总是对其最终输出具有因果作用。当这种不匹配发生时，CoT 便不再忠实反映驱动模型行为的实际原因（即决策关键因素），从而导致 CoT 可监控性下降的问题。这限制了将 CoT 用于可靠监督。然而，目前仍缺乏一个全面且完全开源的基准来系统评估 CoT 可监控性。为填补这一空白，我们提出 MonitorBench，一个用于评估 LLM 中 CoT 可监控性的系统性基准。MonitorBench 提供：（1）一组多样化的 1,540 个测试实例，涵盖 7 个类别下的 19 项任务，并精心设计了决策关键因素，用以刻画 CoT 何时可用于监控驱动 LLM 行为的因素；（2）两种提示压力测试设置，用于量化 CoT 可监控性可被降低的程度。大量实验表明，CoT 可监控性是一种条件性属性，受被评估的 LLM、监控 LLM 以及任务特征的影响。在这些因素中，当决策关键因素塑造中间推理过程、而不仅仅是影响最终答案时，可监控性更高。在压力测试提示下，大多数被评估的 LLM 能够有意降低可监控性，且主要发生在推理过程在结构上并不要求决策关键因素的任务上。总体而言，MonitorBench 为 AI 控制、推理忠实性、压力测试可监控性以及监控脚手架（monitoring scaffords）的进一步研究提供了基础。代码可在 this https URL 获取。
| Comments: | COLM 2026 |
| Subjects: | 人工智能（cs.AI） |
| 引用格式： | arXiv:2603.28590 [cs.AI] |
| （或本版本使用 arXiv:2603.28590v5 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2603.28590 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Han Wang [查看邮箱]
[v1]
2026年3月30日 星期一 15:37:42 UTC（10,282 KB）
[v2]
2026年4月2日 星期四 02:22:56 UTC（14,389 KB）
[v3]
2026年8月9日 星期日 16:17:33 UTC（6,924 KB）
[v4]
2026年9月28日 星期一 14:42:45 UTC（6,922 KB）
[v5]
2026年11月11日 星期三 01:28:56 UTC（6,918 KB）
来源：arXiv cs.AI · arxiv.org