arXiv cs.AI· Ku Onoda, Paavo Parmas, Manato Yaguchi, Yutaka Matsuo·· 14 小时前AI 评分26
可微模拟器真能给出更好的策略梯度吗？ICLR 2026 论文重新审视该问题
Does "Do Differentiable Simulators Give Better Policy Gradients?" Give Better Policy Gradients?
AI 导读
针对可微模拟器中不连续动力学导致一阶策略梯度估计有偏的问题，论文提出 DDCG——仅需单个超参数的轻量检测方法，在不平滑区域切换估计器，小样本下仍保持稳健。在可微机器人控制任务上，作者另提出逐步逆方差实现 IVW-H，无需显式不连续检测即可稳定方差并取得强结果。结论是估计器切换提升了受控实验的稳健性，但实际部署中方差控制往往更关键。
正文 · AI 翻译
摘要：在策略梯度强化学习中，能够访问可微模型使得一阶梯度估计成为可能，与仅依赖无导数的零阶估计器相比，这能加速学习。然而，不连续的动力学会导致偏差，并削弱一阶估计器的有效性。先前的工作通过在 REINFORCE 零阶梯度估计器周围构建置信区间，并利用这些边界来检测不连续性，从而解决了这一偏差问题。然而，REINFORCE 估计器以噪声大而著称，我们发现该方法需要针对特定任务进行超参数调优，且样本效率较低。本文探讨这种偏差是否是主要障碍，以及哪些最小修正措施就足够。首先，我们重新审视了先前工作中的标准不连续设置，并引入了 DDCG，这是一种在非光滑区域切换估计器的轻量级测试；仅需一个超参数，DDCG 就能实现稳健的性能，并在小样本下保持可靠。其次，在可微机器人控制任务上，我们提出了 IVW-H，这是一种逐步逆方差实现，无需显式的不连续性检测即可稳定方差，并取得了显著效果。总之，这些发现表明，虽然估计器切换在受控研究中提高了稳健性，但在实际部署中，仔细的方差控制往往占主导地位。
| 评论： | ICLR2026 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2604.18161 [cs.LG] |
| （或 arXiv:2604.18161v2 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2604.18161 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | 第十四届国际学习表征会议。ICLR 2026 |
提交历史
来自：Ku Onoda [查看电子邮件]
[v1]
2026年4月20日星期一 12:23:48 UTC（6,225 KB）
[v2]
2026年10月24日星期六 00:48:22 UTC（6,213 KB）
来源：arXiv cs.AI · arxiv.org