arXiv cs.AI· Tao Ren, Hui Yang, Jia Deng, Tingyang Chen, Qiyao Wang, Shuo Tang, Ziyang Zeng, Yuhua Jiang, Guanghao Li, Huatong Song, Yining Li, Yifan Luo, Kunbao Ding, Feng Chang, Chuan Hao, Ran Tao, Bryan Dai, Jiafeng Liang, Jinyang Jiang·· 14 小时前AI 评分34
MPO：面向长程 LLM 智能体的多尺度策略优化
Multiscale Policy Optimization for Long-Horizon LLM Agents
AI 导读
研究者提出多尺度策略优化（MPO），结合多尺度优势估计（MAE）与轮次级重要性采样，将信用分配与策略更新对齐到轮次尺度。在搜索、工具使用和自动化任务上，4B 与 30B-A3B 模型的实验均稳定优于强 RL 基线。
正文 · AI 翻译
作者：Tao Ren、Hui Yang、Jia Deng、Tingyang Chen、Qiyao Wang、Shuo Tang、Ziyang Zeng、Yuhua Jiang、Guanghao Li、Huatong Song、Yining Li、Yifan Luo、Kunbao Ding、Feng Chang、Chuan Hao、Ran Tao、Bryan Dai、Jiafeng Liang、Jinyang Jiang
摘要：长程 LLM 智能体通过完整的助手轮次与环境交互，同时逐个 token 生成每个动作。我们观察到，评论家价值主要在轮次之间变化，这促使我们以轮次为锚点进行优化，并在 token 之间进行更精细的信用分配。我们提出多尺度策略优化（MPO），结合多尺度优势估计（MAE）与轮次级重要性采样，使信用分配与策略更新在轮次尺度上保持一致。在搜索、工具使用和自动化任务上，使用 4B 和 30B-A3B 模型进行的大量实验表明，相比强 RL 基线，该方法取得了一致的提升。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.35013 [cs.AI] |
| （或 arXiv:2610.35013v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35013 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tao Ren [查看邮箱]
[v1]
2026年10月26日星期一 08:22:11 UTC（1,482 KB）
来源：arXiv cs.AI · arxiv.org