arXiv cs.AI· Taha M. Mahmoud, Naima Kaabouch·· 11 小时前AI 评分18
Dual-Adaptive Z-Score PPO：用动作置信度与归一化优势幅度实现动态裁剪
Dual-Adaptive Z-Score PPO: Dynamic Clipping Using Action Confidence and Normalized Advantage Magnitude
AI 导读
研究提出 PPO-DAZ3，用动作置信度和归一化优势幅度两个信号为每个样本动态设定裁剪区间，替代 PPO 固定的裁剪阈值，其余训练流程不变。
正文 · AI 翻译
摘要：近端策略优化（PPO）因其稳定性和易于实现，仍然是一种流行的同策略强化学习算法。然而，其裁剪阈值是固定的，因此无论相应策略更新的可靠性如何，每个训练样本都获得相同的信赖域宽度。本文研究了 PPO 的自适应裁剪变体，其中常数裁剪参数被根据策略和回报统计量计算出的样本相关阈值所取代。核心方法——双自适应 Z 分数 PPO（PPO-DAZ3）——根据两个信号为每个样本设定裁剪区间：动作置信度，由当前策略下所选动作的概率给出；以及更新置信度，由归一化优势幅度给出。标准 PPO 训练流程的其余部分保持不变。在三个经典控制基准（LunarLander-v3、CartPole-v1 和 Acrobot-v1）上的评估表明，自适应裁剪在某些设置下能改善学习，但并非所有设置。PPO-DAZ3 在 LunarLander-v3 上表现最佳，基于优势的平滑变体 PPO-AZ3S 在 Acrobot-v1 上领先，而标准 PPO 在 CartPole-v1 上保持竞争力，这表明自适应裁剪在较难的控制任务上最为有益。
| 评论： | 6 页，4 幅图。这是作者被接收的稿件，论文发表于 2026 年第六届电气、计算机与能源技术国际会议（ICECET 2026），意大利罗马。最终出版版本可通过 IEEE Xplore 在 此 https URL 获取 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.32194 [cs.LG] |
| （或 arXiv:2610.32194v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32194 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | 2026 年第六届电气、计算机与能源技术国际会议（ICECET） |
| 相关 DOI： | https://doi.org/10.1109/ICECET65726.2026.11633063
链接到相关资源的 DOI |
提交历史
来自：Taha Mahmoud [查看电子邮件]
[v1]
2026 年 10 月 23 日星期五 05:40:26 UTC（1,017 KB）
来源：arXiv cs.AI · arxiv.org