arXiv cs.AI· Yanjun Chen, Jinghan Wang, Xiaoyu Shen, Wenjie Li, Wei Zhang·· 10 天前AI 评分22
动作塑形：策略只吸收其能表达的东西
Action Shaping: Policies Absorb What They Can Express
AI 导读
论文提出"动作塑形"概念：训练时在动作通道加入偏移、部署时移除，这一做法此前没有理论保证。作者给出吸收条件——可训练策略只能吸收其输出层能精确复现的偏移，最小实例是学习门控后的零初始化线性头，在 20 个任务上移除该头几乎无代价。精确复现使损失出现平坦方向，偏移幅度可在移除前预示代价。
正文 · AI 翻译
摘要：奖励塑形有一个定理：基于势能的项可以在不改变最优策略的情况下被移除。而在动作通道上采用同样的做法——训练时加入偏移、部署时丢弃——却没有相应的定理。没有任何机制能抵消动作偏移，因此这种修正要么在部署时保留，要么在没有保证的情况下被移除。我们将其称为动作塑形，并陈述其原理。一个可训练的策略会吸收其自身输出层能够精确复现的偏移，这就是我们所说的“表达”；被吸收的部分可以在回报不变的情况下被移除。其最小实例是一个位于可学习门控之后的零初始化线性头，添加到一个通过学习到的动作价值函数进行训练的 actor 上，且没有惩罚或调度。该门控会自行先升后降，对确定性和随机性 actor 都是如此，并且在 20 个任务上移除该头的代价几乎为零。其条件是精确复现，而非容量：一个参数更多的非线性头不会被吸收，而在配对对照中，向非线性基础头添加一条线性路径即可恢复吸收。精确复现使损失具有一个平坦方向，梯度噪声会沿其漂移，而偏移的幅度在移除之前就指示了丢弃该头将付出的代价。动作塑形由此获得了塑形定理的对应物——吸收的条件，以及其背后的机制和一种可读取它的诊断方法。策略吸收它们所能表达的东西，且仅此而已。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2609.32752 [cs.AI] |
| （或 arXiv:2609.32752v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.32752 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yanjun Chen [查看电子邮件]
[v1]
2026年9月26日星期六 16:18:55 UTC（781 KB）
[v2]
2026年10月6日星期二 15:32:07 UTC（777 KB）
来源：arXiv cs.AI · arxiv.org