arXiv cs.AI· Sriyash Poddar, Yanda Bao, Jacob Krantz, Matthew Chang, Xavier Puig, Roozbeh Mottaghi, Natasha Jaques, Abhishek Gupta·· 12 小时前AI 评分38
ASTEROID：非对称在线策略蒸馏让模型学会上下文探索
Asymmetric On-Policy Distillation Learns In-Context Exploration
AI 导读
研究者提出 ASTEROID，一种学生—教师监督学习框架，让学生先收集在线策略上下文，再由特权专家基于该上下文给出动作标签，从而学会测试时探索。在 11 个环境（含离散探索基准、机器人操作、导航与 Procgen）中，ASTEROID 在固定探索预算下回报约为 2 倍，交互次数比 RL 基线少约 100 倍，探索能力超过前沿模型。
正文 · AI 翻译
摘要：部分可观测条件下的序贯决策十分困难，因为智能体必须先探索以推断与任务相关的隐藏信息，才能有效行动。通过在线强化学习从零开始学习这类信息收集行为样本效率低下，而离线模仿则会在隐藏状态上对专家动作取平均，无法学会探索。在这项工作中，我们提出 ASTEROID，一个简单而有效的学生—教师监督学习框架，能够学习测试时探索。尽管特权专家从不需要探索，我们证明：当使用同策略上下文训练时，一个以历史为条件的学生可以学会探索——学生首先在部分可观测条件下收集同策略上下文，特权专家则基于该上下文提供动作标签。通过直接以学生的同策略历史为条件蒸馏专家动作，学生学会系统地消解部分可观测性，即在不确定时搜索、在隐藏状态揭示后利用。这使得高效的测试时探索（类似于贝叶斯后验采样）成为可能，而无需承担强化学习不切实际的训练数据成本。在包括离散探索基准、机器人操作、导航和 Procgen 环境在内的十一种不同环境中，ASTEROID 在固定探索预算下取得约 2 倍的回报，交互次数比 RL 基线少约 100 倍，并在探索上优于前沿模型。最后，我们的方法将在仿真中训练的策略迁移到视觉受限的真实世界机器人操作中，展现出高效探索，并将成功率较标准蒸馏提升 +40%。总体而言，它提供了一个简单却出奇有效的框架来学习高效的测试时探索。
| 学科： | 机器人学（cs.RO）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.30105 [cs.RO] |
| （或本版本的 arXiv:2610.30105v1 [cs.RO]） | |
| https://doi.org/10.48550/arXiv.2610.30105 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sriyash Poddar [查看邮箱]
[v1]
2026年10月21日星期三 17:50:31 UTC（11,116 KB）
来源：arXiv cs.AI · arxiv.org