arXiv cs.CL· Maverick Morales, Tom\'a\v{s} Dominik, Vermut Gao, Katrina Shirey, Paulius Rimkevi\v{c}ius, Aaron Schurger, Uri Maoz·· 10 天前AI 评分31
大语言模型被提示不诚实回答时推理 token 数量激增
Reasoning-Token Spikes Under Prompted Untruthful Responses in Large Language Models
AI 导读
三个具备推理能力的大语言模型在 210 道选择题上，被系统提示要求如实、虚假或不顾真假地回答，结果如实作答产生的推理 token 数少于说谎和不顾真假两种情形。该信号无需读取推理链内容，可作为推理轨迹不可用或不可靠时区分诚实与不诚实行为的候选指标，但尚未证明能检测自发欺骗或普遍失准。
正文 · AI 翻译
摘要：监测推理型人工智能（AI）模型的思维链，仍然是检测此类模型中欺骗及其他形式不当行为的关键方法。然而，语义层面的思维链监测依赖于推理轨迹可读、且对产生模型行为的底层计算足够忠实，更不用说还要可获取。此外，越来越多的证据表明，思维链输出可能很快就会变得不可读或不忠实，甚至可能不再可获取。基于认知负荷理论，我们研究了一种低带宽信号——生成的推理 token 数量——它不需要访问推理轨迹的内容。三个具备推理能力的大语言模型回答了 210 道多项选择题——涵盖分析性、描述性和规范性推理类型，以及道德和非道德领域——系统提示要求它们如实作答、虚假作答或不考虑真实性作答。在所有三个模型中，以真实为导向的作答所引发的推理 token 数量都少于以谎言为导向的作答和真实性无关的作答。这些发现表明，明确提示的不真实作答策略能够在测试时推理 token 使用上产生稳健的组间差异。虽然这尚未确立推理 token 数量可作为自发欺骗或一般性失准的检测器，但我们的结果是一个概念验证，表明当原始推理轨迹不可用或不可靠时，它可以作为一种简单、与内容无关的候选信号，用于区分不真实与真实的模型行为。未来工作应测试实例级检测率、分布外泛化、习得的欺骗策略、隐藏目标以及在对抗性压力下的稳健性。
| 评论： | 20 页，9 幅图，3 张表。代码：此 https URL；数据：此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.10405 [cs.AI] |
| （或 arXiv:2610.10405v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10405 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
发件人：Maverick Morales [查看电子邮件]
[v1]
2026 年 10 月 7 日星期三 16:53:11 UTC（1,208 KB）
来源：arXiv cs.CL · arxiv.org