arXiv cs.AI· Chang-Hoon Jeong, Kisung Shin, Hanwool Sul, Byoung-Tak Zhang·· 3 天前AI 评分18
PLATO：面向鲁棒离线元强化学习的悲观潜在任务感知优化
Pessimistic Latent Task-aware Optimization for Robust Offline Meta-Reinforcement Learning
AI 导读
针对基于上下文的离线元强化学习（COMRL）在参数外推任务上编码器产生训练支撑集外潜在表示的问题，研究者提出悲观潜在任务感知优化（PLATO），通过在训练中扰动推断出的任务潜在表示合成反事实任务，并用学习到的解码器集成在扰动潜在上展开短轨迹，以悲观权重更新策略。在八个 MuJoCo 连续控制基准上，PLATO 在分布外任务回报上持续优于强 COMRL 基线，在分布内任务上保持竞争力。
正文 · AI 翻译
摘要：基于上下文的离线元强化学习（COMRL）的进展几乎完全来自更好的任务表示，这些表示将任务身份与行为策略的伪影分离，使潜在表示仅反映任务本身。隐含的期望是，干净的表示能够迁移到支持集之外（参数外推）的任务。然而，在此类任务上，编码器产生的潜在表示位于训练支持集之外，而策略从未在该区域接受过训练。我们通过悲观潜在任务感知优化（PLATO）来弥补这一差距，该方法在训练期间让策略接触支持集之外的潜在表示。PLATO 假设一个温和的流形假设：任务潜在表示位于低维流形上，而支持集之外的任务距离训练质心更远。它利用这一几何特性，通过将推断出的潜在表示从质心向外扰动来合成反事实任务。随后，一个学习到的解码器集成在每个扰动后的潜在表示上展开短轨迹，并在悲观权重下基于想象出的转移更新策略，该权重会降低集成模型存在分歧的步骤的权重。我们证明该扰动以可控的幅度离开训练支持集，且支持集之外的泛化差距受同一扰动范围的约束，并给出了在扰动潜在表示处的认知分歧保持有界远离零的明确条件，这些条件已通过实验验证。在八个 MuJoCo 连续控制基准上，PLATO 在支持集之外的回报上持续优于强大的 COMRL 基线，同时在分布内任务上保持竞争力。我们的代码可在 此 https URL 获取。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.15428 [cs.LG] |
| （或 arXiv:2610.15428v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15428 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chang-Hoon Jeong [查看电子邮件]
[v1]
2026年10月11日星期日 08:03:47 UTC（679 KB）
来源：arXiv cs.AI · arxiv.org