arXiv cs.AI· Songyuan Zhang, Oswin So, Eric Yang Yu, Matthew Cleaveland, Peter Crowley-Dolen, Chuchu Fan·· 2 天前AI 评分21
LASER：面向支持约束熵正则离线 RL 的潜在空间伴随匹配
LASER: Latent Space Adjoint Matching for Support-Constrained Entropy-Regularized Offline RL
AI 导读
LASER 是一种离线 RL 算法，通过潜在空间伴随匹配实现熵正则化的潜在空间 RL，并使用表达力强的流策略，同时避免沿时间反向传播。在 40 个不同数据质量的 OGBench 任务上，LASER 取得 SOTA 性能，且全部任务共用固定超参数，优于经过任务与数据集特定调参的基线。该工作已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：虽然离线强化学习（RL）能够从静态数据集中优化策略，无需昂贵的在线交互，但它仍然受制于执行分布外（OOD）动作的风险。近期方法通过学习行为克隆策略（通过流匹配）并在其受限的潜在空间内执行 RL 来缓解这一问题。然而，朴素地优化潜在策略很容易导致策略坍缩为脆弱的模式，或利用学习到的评论家的尖锐伪影。在这项工作中，我们发现熵正则化对于解决这些挑战在潜在空间 RL 中至关重要。我们提出了 LASER，一种新颖的离线 RL 算法，它应用潜在空间伴随匹配来实现熵正则化的潜在空间 RL，同时具有表达性流策略，并避免通过时间的反向传播。通过在 40 个具有不同数据集质量的挑战性 OGBench 任务上进行全面实验，我们表明 LASER 达到了最先进的性能。值得注意的是，LASER 在所有任务中使用固定的方法特定超参数，并且优于所评估的基线，包括那些经过任务和数据集特定调优的基线，这凸显了 LASER 的稳健适用性。项目网站：此 https URL。
| 评论： | 29 页，16 幅图。已被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器人学（cs.RO）；优化与控制（math.OC）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.08989 [cs.LG] |
| （或 arXiv:2610.08989v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08989 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Songyuan Zhang [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 18:47:21 UTC（5,974 KB）
[v2]
2026 年 10 月 14 日星期三 18:23:06 UTC（5,974 KB）
来源：arXiv cs.AI · arxiv.org