面向 LLM 智能体的扰动鲁棒策略学习：Stable Perturbation-Robust Policy Optimization（SPrPO）

Learning Perturbation Robust Policies for LLM Agents with Stable Optimization

AI 导读

研究提出 Stable Perturbation-Robust Policy Optimization（SPrPO），在强化学习训练中对 LLM 智能体施加自适应、敏感度感知的扰动，以提升策略对隐藏状态噪声、剪枝和量化等扰动的鲁棒性。该方法基于对扰动策略更新保持稳定单调改进条件的分析，在 ALFWorld 和 WebShop 上跨多种扰动类型与规模验证，实现了鲁棒性提升且策略优化保持稳定。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：强化学习（RL）已成为长时程大语言模型（LLM）智能体的一种有效后训练范式。然而，我们发现由此得到的策略可能对多种策略扰动敏感，例如隐藏状态噪声、剪枝和量化。在本工作中，我们研究如何在策略优化过程中提升扰动鲁棒性。我们首先引入扰动鲁棒策略的概念，并分析扰动策略更新保持稳定单调改进的条件。基于该分析，我们提出稳定扰动鲁棒策略优化（SPrPO），在 RL 训练过程中施加自适应且敏感度感知的扰动。我们在 ALFWorld 和 WebShop 上评估 SPrPO，并针对多种扰动类型和尺度开展系统性实验，结果表明在保持稳定策略优化的同时提升了扰动鲁棒性。

主题：	机器学习（cs.LG）；人工智能（cs.AI）
引用为：	arXiv:2609.34064 [cs.LG]
	（或 arXiv:2609.34064v2 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2609.34064 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Pengxin Wang [查看邮箱]
[v1] 2026年9月28日星期一 00:43:16 UTC（5,674 KB）
[v2] 2026年11月10日星期二 05:09:29 UTC（5,674 KB）

来源：arXiv cs.AI · arxiv.org