arXiv cs.AI· Mengsong Wu, Tianchen Zhou, Zhaochen Su, Zhenhua Liu, Zhe Cui, Aimin Zhou·· 11 小时前AI 评分34
AttnSR：用注意力步骤奖励改进长程智能体强化学习
AttnSR: Attention Step Reward for Long-Horizon Agentic RL
AI 导读
AttnSR 是一种步骤级奖励增强方法，直接从训练回放中提取策略注意力来分配各步骤奖励，无需单独训练奖励模型或额外 rollout。在 Qwen2.5-7B-Instruct 的对照实验中，AttnSR 在 ALFWorld 所有评估 checkpoint 上均优于 PPO 基线，最终留出集成功率从 91.2% 提升至 97.1%。
正文 · AI 翻译
摘要：长程 LLM 智能体需要做出多步决策，但仅以结果奖励为信号的强化学习难以为单个步骤提供直接监督。我们提出 AttnSR，一种步骤级奖励增强方法，它从训练回放过程中提取的策略注意力中推导奖励分配，无需单独训练奖励模型，也无需额外 rollout。AttnSR 沿策略模型的注意力图反向追踪，以估计较早步骤与最终响应的相关性。终止步骤的奖励相对于滑动基线进行衡量，并据此决定这些奖励是强化还是惩罚所选步骤。在一项受控的 Qwen2.5-7B-Instruct 研究中，AttnSR 在 ALFWorld 上于所有评估的检查点均持续优于 PPO 基线，将最终留出集成功率从 91.2% 提升至 97.1%。消融实验表明，收益取决于中间奖励的分配方式，而非步骤奖励随时间的简单累积。AttnSR 在 ScienceWorld 上也在每个检查点均有提升，同时将环境交互次数减少 29.9%。这些结果支持将策略注意力作为长程智能体强化学习中步骤级奖励分配的一种实用先验。代码见 this https URL 。
| 评论： | 20 页，4 幅图，含附录。代码：this https URL |
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用格式： | arXiv:2611.07932 [cs.LG] |
| （或 arXiv:2611.07932v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07932 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mengsong Wu [查看邮箱]
[v1]
2026 年 11 月 5 日星期四 12:37:19 UTC（371 KB）
来源：arXiv cs.AI · arxiv.org