arXiv cs.CL· Mar Gonz\`alez I Catal\`a, Haitz S\'aez de Oc\'ariz Borde, George D. Monta\~nez, Pietro Li\`o·· 12 小时前AI 评分29
论文提出逐步信息量假设（SIA），揭示 LLM 熵动态何时能反映推理正确性
The Stepwise Informativeness Assumption: When Do Entropy Dynamics Track Reasoning Correctness in LLMs?
AI 导读
研究者提出逐步信息量假设（SIA），指出下一 token 预测本身并不保证熵下降与答案正确性对齐，这种对齐取决于训练方式如何将推理轨迹与正确答案耦合。在 GSM8K、ARC、SVAMP、MATH 四个基准上对 base、指令微调和 RL 训练的开源权重模型进行实证，发现熵与正确性的对齐随后训练增强，但当任务难度超出模型能力时会减弱。
正文 · AI 翻译
摘要：近期工作利用多个表示层级上基于熵的信号来研究大语言模型中的推理，但该领域在很大程度上仍以实证为主。从理论角度看，模型不确定性的降低并不一定反映其正朝着正确性取得进展。在本工作中，我们通过逐步信息性假设（Stepwise Informativeness Assumption, SIA）刻画了何时可以预期这种对齐，该假设要求降低熵的推理前缀扩展在期望上提高分配给有效答案的概率。我们表明，下一词元预测可以将与答案相关的信息从训练数据迁移到模型，但其本身并不能保证与正确性对齐。相反，我们提出这种对齐取决于训练机制如何将推理轨迹与正确答案耦合。此外，我们假设了该现象的可观测特征，并刻画了其预期的失效情形。我们在四个推理基准（GSM8K、ARC、SVAMP、MATH）以及涵盖基础、指令微调和 RL 训练机制的多种开放权重语言模型上，实证研究了熵动态与正确性的关系。我们的结果表明，熵-正确性对齐会随着后训练而增强，但当任务难度超出模型能力时可能减弱。
| 评论： | 24 页，20 幅图，5 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；信息论（cs.IT）；机器学习（cs.LG） |
| 引用为： | arXiv:2604.06192 [cs.CL] |
| （或 arXiv:2604.06192v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.06192 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mar Gonzàlez I Català [查看电子邮件]
[v1]
2026 年 3 月 11 日星期三 18:00:18 UTC（757 KB）
[v2]
2026 年 10 月 21 日星期三 13:26:55 UTC（11,179 KB）
来源：arXiv cs.CL · arxiv.org