arXiv cs.AI· Denis Tarasov, Robert K. Katzschmann·· 10 小时前AI 评分34
ReBRAC-v2：极简离线强化学习基线的系统性现代化
ReBRAC-v2: The Return of the King
AI 导读
ReBRAC-v2 通过精确似然归一化流 actor、分类残差 critic 与多样本推理等系统性改造，在十个 OGBench 类别上平均得分 74.8，远超次优方法的 52.3，并在八个类别中排名第一。
正文 · AI 翻译
摘要：近期离线强化学习方法日益依赖富有表现力的生成式策略和专门的价值引导。我们探讨在保持算法简洁性的前提下，对传统行为正则化 actor-critic 进行系统性现代化能走多远。ReBRAC-v2 直接训练一个精确似然的归一化流 actor，采用似然、MSE 和 MAE 行为正则化、基于分类的残差 critic、分阶段优化和多样本推理。我们通过约 600 次贝叶斯提议在六个 OGBench 任务上开发出一套共享配置，然后仅使用 16 点网格调整两个行为正则化系数用于主要比较。在十个常见 OGBench 类别上，ReBRAC-v2 平均得分为 74.8，而次优方法为 52.3，并在八个类别中排名第一。在不改变结构的情况下，它还在 D4RL AntMaze（90.2）和 Adroit（33.6）上取得了最强的对比平均值。受这些结果启发，我们将评估扩展到原始 OGBench 套件中 47 个数据集变体的全部 235 个基于状态的单任务问题。据我们所知，这是该设置下的首次完整评估；没有对比基线报告了全套件的结果。逐任务得分和配置使 ReBRAC-v2 成为未来工作超越常见任务子集的参考基线。完整克隆目标在其替代方案重新调整系数后仍保持最高平均值，进一步的消融实验刻画了训练、容量和推理选择。这些结果展示了在极简离线 RL 基础内进行系统性工程的优势。
| 评论： | 此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.01205 [cs.LG] |
| （或 arXiv:2608.01205v2 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2608.01205 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Denis Tarasov [查看电子邮件]
[v1]
2026年8月2日周日 12:42:20 UTC（242 KB）
[v2]
2026年10月30日周五 11:58:18 UTC（243 KB）
来源：arXiv cs.AI · arxiv.org