arXiv cs.AI· Seungyub Han, Taehyun Cho, Dohyeong Kim, Kyungjae Lee, Jungwoo Lee·· 10 小时前AI 评分31
MINT:面向多步离策略 RL 的截断会合时间指标
MINT: Meeting-time Indicators for Truncation in Multi-Step Off-Policy RL
AI 导读
研究者提出 MINT(Meeting-time INdicators for Truncation),用二元停止指标替代多步离策略时序差分中的逐步迹系数乘积,在真实值函数下其幂等性带来由会合时间存活率约束的方差界。
正文 · AI 翻译
摘要:许多多步离策略时序差分方法通过逐步迹系数的乘积来处理策略不匹配,导致在方差控制与长时程信号之间产生权衡。最大迹长度因此成为一个敏感的超参数。我们提出 MINT(Meeting-time INdicators for Truncation,用于截断的相遇时间指示器),用二元停止指示器替代这些乘积:在耦合的行为轨迹与目标轨迹首次相遇之前取一,之后取零。在真实价值函数处,该指示器的幂等性产生一个由相遇时间生存性所支配的方差界。在实际实现中,单个采样动作可为停止规则提供无模型替代,无需转移模型或混合时间估计。我们分别在固定策略评估下推导了状态耦合算子及其实际替代算子的收缩性充分条件。在 MuJoCo 和 DeepMind Control 任务上,MINT 优于所报告的多步基线;主要的 MuJoCo 对比使用统一上限,未针对每个任务调优上限长度。我们还在 Atari 100k、RWRL 和 OGBench 实验中展示了 MINT 的有效性;MINT 自适应调整备份时程,从而在各类任务和动态下相对于长固定时程备份降低目标变异性。
| 评论: | 已被 NeurIPS 2026 接收。81 页,40 幅图,含附录。代码:此 https URL |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2611.24413 [cs.LG] |
| (或 arXiv:2611.24413v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24413 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Seungyub Han [查看电子邮件]
[v1]
2026 年 11 月 18 日星期三 13:40:04 UTC(2,788 KB)
来源:arXiv cs.AI · arxiv.org