arXiv cs.CL· Wei Xia, Haoqing Wang, Zhi-Hong Deng, Yehui Tang·· 12 小时前AI 评分34
EDRM：基于熵动态的自适应推理路由，判断 LLM 何时该用 CoT
When Should LLMs Reason? Adaptive Inference Routing via Entropy Dynamics
AI 导读
研究者提出 EDRM（Entropy Dynamics-based Reasoning Manifold），一种无需训练路由器的轻量框架，通过早期解码熵轨迹在 Direct、Standard 和 CoT 解码间自适应选择。
正文 · AI 翻译
摘要：思维链（CoT）推理可以提升 LLM 性能，但其收益因任务、模型和单个查询而异。在某些任务上，CoT 带来的准确率提升微乎其微甚至为负，同时却大幅增加 token 消耗。我们研究早期解码动态是否能帮助判断显式推理何时有用。我们的分析表明，CoT 收益较大的任务往往表现出早期熵下降，而低收益任务更常呈现振荡或上升轨迹。这些模式促使我们从经验性状态的角度解读解码行为。我们提出 \textbf{EDRM}（基于熵动态的推理流形），一个轻量级路由框架，其默认启发式方法无需训练路由器。EDRM 用紧凑、可解释的表示概括早期熵轨迹，并在 Direct、Standard 和 CoT 解码之间进行选择。在 15 个基准和 7 个 LLM 上，其全局和实例级变体在准确率相当的情况下节省了 \textbf{16--55\%} 的 token。完整的实例级配置将路由与一个短的 Direct 回退分支相结合；我们的启发式路由器消融实验报告称，与无回退的路由相比，oracle 答案选择最多可带来 \textbf{4.9 个百分点}的额外准确率。这些结果支持基于早期解码信号的选择性推理，并展示了基于熵的控制在高效 LLM 推理中的潜力。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.22873 [cs.LG] |
| （或 arXiv:2605.22873v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.22873 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Wei Xia [查看邮箱]
[v1]
2026年5月20日星期三 03:15:46 UTC（1,893 KB）
[v2]
2026年6月15日星期一 04:24:16 UTC（7,462 KB）
[v3]
2026年10月22日星期四 15:58:27 UTC（2,612 KB）
来源：arXiv cs.CL · arxiv.org