arXiv cs.AI· Haotian Zhao, Songlin Zhou, Yuxin Zhang, Stephen S. -T. Yau, Wenyu Zhang, Lun Tian, Tianshu Zhu, Yifeng Huang, Yucheng Zeng, Jingnan Gu, Daxiang Dong, Jianmin Wu·· 13 小时前AI 评分29
AEM：面向多轮智能体强化学习的自适应熵调制方法
AEM: Adaptive Entropy Modulation for Multi-Turn Agentic Reinforcement Learning
AI 导读
研究者提出 AEM，一种无需额外监督的信用分配方法，通过在强化学习训练中自适应调制熵动态来改善探索与利用的平衡。该方法将熵动态从 token 级提升到响应级，以匹配 LLM 智能体的有效动作粒度，并基于响应级不确定性代理对优势值进行缩放。
正文 · AI 翻译
作者：Haotian Zhao、Songlin Zhou、Yuxin Zhang、Stephen S.-T. Yau、Wenyu Zhang、Lun Tian、Tianshu Zhu、Yifeng Huang、Yucheng Zeng、Jingnan Gu、Daxiang Dong、Jianmin Wu
摘要：强化学习（RL）显著提升了大语言模型（LLM）智能体与环境交互并解决多轮任务的能力。然而，有效的智能体强化学习仍面临挑战：仅基于结果的稀疏奖励难以为长交互轨迹中各个步骤的信用分配提供充分指导。现有方法通常引入稠密的中间监督，例如过程奖励模型或辅助自监督信号，这增加了监督与调优的复杂度，并可能限制跨任务和跨领域的泛化能力。我们提出 AEM，一种无需监督的信用分配方法，它在强化学习训练过程中自适应地调节熵动态，以改善探索与利用之间的权衡。由于在智能体强化学习中，环境通常受完整响应而非单个 token 的影响，我们的分析将熵动态从 token 级提升到响应级，使不确定性估计与 LLM 智能体的有效动作粒度对齐，并降低对 token 级采样噪声的敏感性。我们进一步表明，自然梯度更新下的熵漂移由采样响应的优势与其相对惊奇度之间的相互作用所决定。受此结果启发，AEM 推导出一种实用的响应级不确定性代理，并用其重新缩放优势值，利用正负样本之间不断演化的平衡，自然地实现从探索到利用的过渡。在 ALFWorld、WebShop 和 SWE-bench-Verified 上，使用从 1.5B 到 32B 的模型进行的大量实验表明，AEM 能持续改进强强化学习基线，包括集成到最先进的软件工程强化学习训练框架中时获得 +1.4\% 的提升。
| 评论： | 30 页 |
| 主题： | 人工智能（cs.AI） |
| MSC 分类号： | cs.AI、cs.IT、cs.SE |
| 引用为： | arXiv:2605.00425 [cs.AI] |
| （或使用 arXiv:2605.00425v4 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.00425 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Songlin Zhou [查看邮箱]
[v1]
2026 年 5 月 1 日星期五 05:54:37 UTC（222 KB）
[v2]
2026 年 5 月 6 日星期三 18:12:02 UTC（246 KB）
[v3]
2026 年 5 月 8 日星期五 06:22:47 UTC（246 KB）
[v4]
2026 年 10 月 28 日星期三 09:32:31 UTC（254 KB）
来源：arXiv cs.AI · arxiv.org