arXiv cs.AI· Pedro Dall'Antonia, Daniel Csillag, Diego Mesquita·· 13 小时前AI 评分24
重新审视 GFlowNet 训练：Negative Reinforce Dynamics
Rethinking GFlowNet Training: Negative Reinforce Dynamics
AI 导读
研究揭示 GFlowNet 全梯度中存在一种反探索机制，会通过规避高误差区域来降低观测到的平衡误差，据此提出 Negative Reinforce Dynamics（NRD）。该方法将对抗博弈的参数绑定，恢复为单一策略动态，在扩展探索的同时保持正确性。在标准基准上，NRD 在收敛速度和探索效率上均优于现有方法，且无需训练单独的教师模型或辅助探索策略。
正文 · AI 翻译
摘要：生成流网络（GFlowNets）是一类学习按目标奖励比例采样离散对象的模型。它们通过最小化采样轨迹上的平衡误差来训练，这本质上将正确性与探索绑定在一起：如果某个区域未被访问，就无法在那里强制平衡。因此，自适应探索至关重要，然而标准训练依赖于半梯度更新，在每个优化步骤中将采样分布视为固定。另一方面，全梯度揭示了第二种机制，它以反探索的方式减少观测到的误差。在本文中，我们建立了全梯度与 GFlowNet 和解耦采样器之间的 min-min 动力学之间的联系，表明采样器通过避开高误差区域来减少观测到的违规。这一洞见促成了两人博弈与单策略动力学之间的桥梁，这支撑了我们提出的方法——负强化动力学（NRD）的设计。通过将对抗博弈的参数绑定在一起，我们恢复了一种单策略动力学，它在保持正确性的同时扩展了探索。在标准基准上，我们的方法在收敛速度和探索效率上均优于现有方法，且无需训练单独的教师或辅助探索策略。
| 评论： | 22 页，9 幅图，3 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.38994 [cs.LG] |
| （或 arXiv:2610.38994v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38994 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Pedro Dall'Antonia [查看邮箱]
[v1]
2026 年 10 月 28 日星期三 22:18:48 UTC（1,049 KB）
来源：arXiv cs.AI · arxiv.org