arXiv cs.CL· Dianqiao Lei, Kevin Qinghong Lin, Pan Lu, Philip Torr, James Zou·· 9 天前AI 评分37
LLM 的“思考惯性”：被要求别想时仍在推理
Thinking Inertia: LLMs Keep Thinking When Told Not To
AI 导读
研究提出用 Empty-Thinking Rate、Question-Pre-answer Relevance 和 LLM-as-judge Explicit Inference Rate 三项指标衡量 LLM 的“不思考”行为，发现显式 no-think 控制无法可靠消除可见推理，模型表现出“思考惯性”。
正文 · AI 翻译
摘要：大型语言模型（LLM）越来越多地配备显式的“思考模式”，然而与之相对的“不思考”却鲜少受到关注。我们从两个维度研究 LLM 的不思考行为。a. 如何衡量不思考？以往工作通常通过禁用思考模式或缺少长推理链等代理指标来定义不思考。这些代理指标并不可靠：禁用思考模式仍可能输出推理，而长推理链可能包含填充内容而非真正的推理。我们改为将每个回答规范化为答案前推理链和最终答案，并从三个层面进行评估：(i) 空思考率，用于衡量严格仅输出答案的合规性；(ii) 指令感知的问题—答案前推理链相关性，用于衡量问题与答案前推理链之间的相似度；(iii) LLM 作为评判者的显式推理率，用于衡量可见的显式推理。这些指标共同区分了仅输出答案、相关但非推理的文本以及显式推理。b. 不思考在不同任务和模型之间如何变化？我们在布尔题、多项选择题和开放性问题三类任务上，对六种提示干预方法和六个 LLM 进行了评估。我们发现，显式的不思考控制无法可靠地消除可见推理。模型反而表现出“思考惯性”：即使在严格控制下显式推理依然存在，并且随着答案空间的开放而更加普遍。在布尔题和多项选择题上准确率保持稳定，而开放性任务则揭示了仅输出答案的合规性与任务准确率之间的权衡。在相同问题跨答案空间的改写中，提供候选答案会使仅输出答案的回答更容易产生。这些发现确立了不思考是一项非平凡的能力：仅凭模型设置或指令无法假定其能停止显式推理，它值得与推理能力一起被系统评估。
| 评论： | 已被 NeurIPS 2026 接收。网站：此 https URL GitHub：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.11765 [cs.CL] |
| （或 arXiv:2610.11765v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11765 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Qinghong Lin [查看邮箱]
[v1]
2026年10月8日星期四 11:49:37 UTC（1,151 KB）
来源：arXiv cs.CL · arxiv.org