arXiv cs.AI· Qiaoman Zhang, Shunhua Min, Xiang He, Zhenghan Zhang, Yuting Zhang, Guangxian Li, Yunzhu Kuang, Rui Jiang, Jingyan Zhang, Chaoyue Li, Jiayu Ding·· 1 天前AI 评分32
TIDE：基于熵门控有界偏差的 Token 级信用分配框架
TIDE: Token-Level Credit Assignment via Entropy-Gated Bounded Deviation
AI 导读
TIDE 是一个无评论家（critic-free）的强化学习框架，用有界 Hellinger 距离替代反向 KL 散度，并通过熵门控机制将序列级优势重新分配到 token 级。在 Qwen2.5-32B 上，TIDE 于 AIME 2024 和 AIME 2025 分别达到 60.0% 和 46.0% 的 Avg@32 准确率，超过 DAPO 等基线。该方法无需价值网络，额外开销可忽略。
正文 · AI 翻译
作者：Qiaoman Zhang、Shunhua Min、Xiang He、Zhenghan Zhang、Yuting Zhang、Guangxian Li、Yunzhu Kuang、Rui Jiang、Jingyan Zhang、Chaoyue Li、Jiayu Ding
摘要：强化学习（RL）是将大语言模型（LLM）与复杂推理对齐的核心手段，然而当前主流的无评论家算法——组相对策略优化（GRPO）——在长思维链（CoT）生成中统一广播单一的序列级优势，并以无界的 Kullback-Leibler（KL）惩罚约束探索，这稀释了 token 级监督，并引发梯度不稳定和模式寻求式的保守性。我们提出 TIDE（Token-level Importance via Deviation and Entropy，基于偏差与熵的 token 级重要性），这是一个无评论家的 RL 框架，将分布偏差重新解释为引导信号而非刚性惩罚。TIDE 用有界的 Hellinger 距离替代易波动的反向 KL 散度，在无梯度爆炸风险的情况下安全量化 token 级探索。为将真正的推理突破与自信的幻觉区分开，熵门控机制按策略的预测不确定性缩放该偏差，门控后的分数将序列级优势重新分配到各 token 上。由此产生的更新放大了探索性步骤，同时抑制低熵偏差，且无需价值网络、开销可忽略。在域内、留出和域外基准上，TIDE 均优于强大的无评论家基线：在 Qwen2.5-32B 主干上，其在 AIME 2024 和 AIME 2025 上分别达到 60.0% 和 46.0% 的 Avg@32 准确率，超过 DAPO 等有竞争力的基线。token 级归因、因果扰动和探索分析进一步支持了这一解释：熵门控偏差识别的是关键推理步骤，而不仅仅是扰动优化动态。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.03327 [cs.LG] |
| （或本版本的 arXiv:2605.03327v3 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2605.03327 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hongbo Jin [查看邮箱]
[v1]
2026年5月5日 星期二 03:36:27 UTC（2,315 KB）
[v2]
2026年5月8日 星期五 12:51:27 UTC（2,314 KB）
[v3]
2026年11月12日 星期四 06:41:56 UTC（2,112 KB）
来源：arXiv cs.AI · arxiv.org