arXiv cs.CL· Yihuai Hong, Shauli Ravfogel, Chen Zhao, Eunsol Choi·· 6 天前AI 评分41
让 LLM 说出真实想法：测量并提升 CoT 可解释性对齐
Making LLMs Say What They Think: Measuring and Improving CoT-Interpretability Alignment
AI 导读
研究提出 CoT-Interpretability Alignment（CIA）指标，用于衡量 LLM 的 CoT 推理轨迹与可解释性工具检测到的内部推理策略之间的一致程度。
正文 · AI 翻译
摘要：思维链（CoT）轨迹通常被用作大型语言模型（LLM）如何得出答案的代理。然而，越来越多的证据表明，模型的 CoT 往往无法反映其内部计算，并且可以在不影响最终答案的情况下被改变。在这项工作中，我们测量并改进了 LLM 的 CoT 中所描述的推理与其内部计算之间的对齐程度。我们提出了 CoT 可解释性对齐（CIA），这是一种衡量模型 CoT 轨迹与可解释性工具所检测到的其内部推理策略之间一致性的指标。我们在三个任务（两跳问答、提示干预和整数乘法）上对三个 LLM 评估了 CIA，发现 LLM 在所有任务上的对齐程度都有限（44.8-75.9%）。随后，我们通过后训练来改进 CIA，将任务准确率和参数化忠实度信号同时设为奖励。实验表明，我们可以在保持或提高任务准确率的同时，大幅提升 CoT 参数化忠实度。我们提供了丰富的分析，例如它们的泛化模式。我们的工作既提供了一个用于审计 CoT 参数化忠实度的框架，也提供了一条使模型显式推理更值得信赖的路径。代码和数据可在 此 https URL 获取。
| 评论： | 28 页，9 张图，10 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.38972 [cs.CL] |
| （或 arXiv:2609.38972v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.38972 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Yihuai Hong [查看电子邮件]
[v1]
2026 年 9 月 30 日星期三 04:44:26 UTC（322 KB）
[v2]
2026 年 10 月 9 日星期五 03:09:38 UTC（322 KB）
来源：arXiv cs.CL · arxiv.org