arXiv cs.AI· Jing Ren, Bowen Li, Ziqi Xu, Xuechao Yang, Feng Xia·· 14 小时前AI 评分31
为什么 LLM 会自信地犯错？用因果头干预纠正过度自信错误
Why Are LLMs Confidently Wrong? Correcting Overconfident Errors via Causal Head Intervention
AI 导读
研究者提出 CoCHI（Class-oriented Causal Head Intervention）框架，通过识别并干预模型内部导致不同置信行为的组件来改善校准，减少过度自信错误同时保留正确预测。
正文 · AI 翻译
摘要：现代大型语言模型（LLMs）常常表现出过度自信的错误，即对错误预测赋予高置信度，从而削弱了在实际应用中的可靠性。现有的校准方法通常依赖事后调整或重新训练，在输出层面进行操作，并未解决校准失准的根本原因。我们提出 CoCHI（Class-oriented Causal Head Intervention，面向类别的因果头干预），这是一个通过识别并干预负责不同置信度行为的内部组件来改进校准的框架。通过基于正确性-置信度模式分析预测，CoCHI 能够对模型内部进行有针对性的干预，在减少过度自信错误的同时保留正确预测。我们的方法为校准提供了机制性视角，将可靠性与模型内可识别的结构联系起来，而非将其视为输出层面的问题。在多个 LLM 上的实验显示，校准指标（包括期望校准误差、负对数似然和 Brier 分数）均有一致改善，同时在五个多项选择问答基准上保持准确率。这些结果表明，有效的校准不仅需要调整输出，还需要处理模型内潜在的因果机制。
| 评论： | 该论文已被 NeurIPS 2026 接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.34994 [cs.AI] |
| （或 arXiv:2610.34994v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34994 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jing Ren [查看邮箱]
[v1]
2026年10月26日星期一 08:05:29 UTC（6,317 KB）
来源：arXiv cs.AI · arxiv.org