arXiv cs.AI· Zhuoran Liang, Francisco Cruz·· 10 小时前AI 评分18
Encoder BPA：用潜在状态编码实现交互式强化学习中的广域持久化建议
Broad-Persistent Advising in Interactive Reinforcement Learning via Latent State Encoding
AI 导读
研究提出 Encoder BPA，用训练好的编码器将状态序列映射为潜在表示，通过潜在比较检索并复用建议，并结合 top-(k) 聚合与一致性条件提升复用稳定性。实验显示，该方法在训练早期相比多种 Deep IntRL 方法提升了学习效率与建议利用率，在复杂和部分可观测环境中尤为明显。该工作已被 ACRA 2026 接收为口头报告。
正文 · AI 翻译
摘要：深度交互式强化学习（Deep IntRL）通过引入外部建议来加速强化学习训练。然而，传统的 Deep IntRL 仅在当前步骤使用每条建议，并在单次交互后将其丢弃。持久建议（Persistent Advising）与广域持久建议（Broad-Persistent Advising，BPA）通过将建议存储在持久记忆中，并借助基于 K-means 聚类的状态泛化在相似状态下复用建议，从而扩展了这一过程。本研究提出 Encoder BPA，它采用潜在编码器来检索和复用建议。在该框架中，使用训练好的编码器在每个时间步将状态序列映射为潜在表示。建议可通过潜在比较进行检索，并结合 top-(k) 聚合与一致性条件以提高复用稳定性。实验结果表明，与不同的 Deep IntRL 方法相比，Encoder BPA 在训练早期阶段提高了学习效率和建使用率，尤其是在复杂且部分可观测的环境中。
| 评论： | 10 页，5 幅图，3 张表，已被 Australasian Conference on Robotics and Automation (ACRA 2026) 接收为口头报告 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.13712 [cs.AI] |
| （或 arXiv:2611.13712v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13712 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhuoran Liang [查看邮箱]
[v1]
2026 年 11 月 10 日星期二 08:06:06 UTC（1,104 KB）
来源：arXiv cs.AI · arxiv.org