arXiv cs.AI· Riccardo De Monte, Matteo Cederle, Gian Antonio Susto·· 13 小时前AI 评分27
从批量到流式：面向连续控制的深度强化学习新算法 S2AC 与 SDAC
Towards Batch-to-Streaming Deep Reinforcement Learning for Continuous Control
AI 导读
研究提出 Streaming Soft Actor-Critic（S2AC）和 Streaming Deterministic Actor-Critic（SDAC）两种流式深度强化学习算法，可与主流批量 RL 方法兼容，适合 Sim2Real 迁移等端侧微调场景。
正文 · AI 翻译
摘要：最先进的深度强化学习（RL）方法在连续控制任务中取得了显著性能，但由于依赖回放缓冲区、批量更新和目标网络，其计算复杂度往往与资源受限硬件的约束不兼容。新兴的流式深度强化学习范式通过纯在线更新解决了这一限制，在标准基准上取得了强大的实证性能。在这项工作中，我们提出了两种新颖的流式深度强化学习算法：流式软演员-评论家（S2AC）和流式确定性演员-评论家（SDAC），它们被明确设计为与最先进的批量强化学习方法兼容，使其特别适用于诸如 Sim2Real 迁移之类的端侧微调应用。两种算法在标准基准上均取得了与最先进的流式基线相当的性能，且无需繁琐的逐环境超参数调优。我们进一步研究了从批量到流式的过渡，表明简单的过渡并不能保证保留预训练策略的性能，并提出了一种有原则的方法来应对这一挑战。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.08588 [cs.LG] |
| （或 arXiv:2603.08588v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.08588 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Matteo Cederle [查看电子邮件]
[v1]
2026年3月9日星期一 16:40:06 UTC（7,773 KB）
[v2]
2026年5月11日星期一 08:11:49 UTC（8,660 KB）
[v3]
2026年10月29日星期四 17:11:53 UTC（8,668 KB）
来源：arXiv cs.AI · arxiv.org