arXiv cs.AI· Ke Jiang, Wen Jiang, Yoshinobu Kawahara, Xiaoyang Tan·· 12 小时前AI 评分20
Value-Rectified Distillation：面向基于流的离线强化学习的行为策略蒸馏框架
Value-Rectified Distillation for Flow-based Offline Reinforcement Learning
AI 导读
研究者提出 Value-Rectified Distillation（VRD），将离线策略蒸馏重构为价值引导的生成轨迹对齐问题，通过动态耦合机制解耦不同行为模式，缓解多模态数据下的 OOD 模式平均问题。
正文 · AI 翻译
摘要：我们旨在解决分布外（OOD）模式平均问题，该问题在离线强化学习（RL）中蒸馏基于流匹配（FM）的行为策略时出现，且至关重要：在多模态数据集上学习时，标准蒸馏会无意中迫使策略在不同行为模式之间进行插值，导致生成的动作坍缩到无效的 OOD 区域。为解决此问题，我们提出价值校正蒸馏（VRD），这是一个新颖的框架，将离线策略蒸馏重新表述为价值引导的生成轨迹对齐问题。通过采用动态耦合机制，VRD 主动校正流动力学，以显式解耦不同的行为模式，干净地分离出高价值动作。具体而言，我们通过两种互补算法实例化 VRD：VRD-Q 利用价值分位数行为蒸馏从统计上过滤掉低价值行为，VRD-R 则重组潜在空间，从几何上将高价值生成轨迹与基于 FM 的行为策略隔离开来。大量实证评估表明，VRD 在 D4RL、OGBench 和 Minari 基准上的多种连续控制与规划任务中改进了现有的生成基线，尤其是在那些多模态、非专家数据集上。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.29075 [cs.LG] |
| （或 arXiv:2610.29075v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29075 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | K. Jiang, W. Jiang, Y. Kawahara, and X. Tan, "Value-Rectified Distillation for Flow-based Offline Reinforcement Learning," Advances in Neural Information Processing Systems 39, 2026 |
提交历史
来自：Ke Jiang [查看电子邮件]
[v1]
2026年10月21日星期三 01:58:00 UTC（4,766 KB）
来源：arXiv cs.AI · arxiv.org