arXiv cs.AI· Pekka Malo, Lauri Viitasaari, Antti Suominen, Eeva Vilkkumaa, Olli Tahvonen·· 12 小时前AI 评分18
失败风险的价格：带凸正则化的截断屏障策略梯度
The Price of Failure Risk: Clipped Barrier Policy Gradients with Convex Regularization
AI 导读
研究提出一种预算约束下的策略梯度方法：将剩余预算放入状态，减去随预算收缩而增长的屏障项，并把组合奖励从下方截断在 -m，m 即“失败风险的价格”。理论证明在沿网络单元运动凸的参数正则化下，种群训练流呈指数收敛，把策略梯度的平均场收敛从相对熵扩展到权重衰减。实验在维护基准、油箱控制器等任务上测量了界的松弛度。
正文 · AI 翻译
摘要：许多操作在一种很少会耗尽的预算下运行，例如磨损余量。一个包装器将剩余预算保存在状态中，减去一个随预算缩小而增大的屏障，并将组合奖励从下方裁剪到 -m，而标准策略梯度学习器保持不变地训练。裁剪水平 m 是失败风险的价格，因为训练后的价值恰好分解为失败前的效用、边际的成本以及价格乘以风险，因此无论策略训练返回什么，在风险不高于其他策略的策略中，扣除该成本后获得的此类净效用最大，直至其优化误差。当所计成本保持有界时，其风险超出比较策略的风险至多为 1/m 阶，且价值或验证数据可予以证明。主要理论结果是，在沿网络单元运动方向凸且对价格足够强的任何参数正则化器下，种群训练流呈指数收敛，并偏向先验策略。这将策略梯度的平均场收敛从相对熵扩展到权重衰减，涵盖了有限网络的连续时间训练。相对熵添加噪声，使学习能够离开平坦区域；权重衰减将参数拉向参考；动作正则化通过到可信规则的距离来约束风险变化。在精确维护基准、油箱控制器、可解流和基准套件任务上的实验测量了这些界的松弛量。我们说明了另一种方法在何时更好，而不声称本方法优于它们。
| 评论： | 38 页，7 幅图，2 张表；在线资源 1（44 页）作为附属文件。修订并更正版本，替代 v2（标题已更改）。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；优化与控制（math.OC）；概率（math.PR）；机器学习（stat.ML） |
| MSC 分类： | 90C40, 93E20, 68T05, 49Q22, 90C15 |
| ACM 分类： | I.2.6; G.1.6 |
| 引用为： | arXiv:2411.19193 [cs.LG] |
| （或本版本使用 arXiv:2411.19193v3 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2411.19193 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Pekka Malo [查看电子邮件]
[v1]
2024 年 11 月 28 日星期四 15:04:43 UTC（104 KB）
[v2]
2025 年 9 月 16 日星期二 14:10:15 UTC（53 KB）
[v3]
2026 年 10 月 27 日星期二 14:54:27 UTC（1,317 KB）
来源：arXiv cs.AI · arxiv.org