跳到正文
arXiv cs.AI· Tiago da Silva, Amauri H. Souza, Salem Lahlou·· 10 天前AI 评分22

GFlowNets 混合模型学习:SC GFlowNets 实现并行训练加速收敛

Learning a Mixture of GFlowNets

AI 导读

研究者提出描述 GFlowNets 混合的通用理论框架,将其分为连续索引(CI)和离散索引(DI)两类。CI GFlowNets 可通过随机特征展开解释,提升图结构任务采样器的表达能力并降低学习不稳定性;DI GFlowNets 涵盖此前训练方法,并衍生出受 Doob h-transform 启发的 Stratum-Conditioned(SC)GFlowNets。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:学习一组 GFlowNet 集成以从离散目标分布中采样,已成为比单一采样器实现更好状态空间探索和收敛的常见方法。然而,这些方法通常会给基础模型带来大量的运行时开销,并且它们之间的概念联系仍然难以捉摸。为了解决这个问题,我们首先提出了一个通用理论框架来描述 GFlowNet 的混合,并将其特化为连续索引(CI)和离散索引(DI)集合。一方面,我们表明 CI GFlowNet 可以通过随机特征展开的视角来解释,可证明地提升了采样器在图结构任务中的表达能力,并通过谱偏移减少了学习不稳定性。另一方面,我们证明 DI GFlowNet 涵盖了先前的 GFlowNet 训练方法,并为新提出的分层条件(SC)GFlowNet 提供了基础。该方法受马尔可夫链的 Doob h 变换启发,根据规定的模块化函数分解状态空间,并限制每个组件从不同的子集中采样。重要的是,SC GFlowNet 支持集中式和组件级易并行训练,我们表明两者都能显著加速学习收敛和模式覆盖,而不会引入任何不可忽略的额外计算。
学科: 机器学习(cs.LG);人工智能(cs.AI);机器学习(stat.ML)
引用为: arXiv:2610.07562 [cs.LG]
  (或 arXiv:2610.07562v1 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.07562

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Amauri Souza [查看电子邮件]
[v1] 2026年10月6日星期二 00:49:26 UTC(6,836 KB)

来源:arXiv cs.AI · arxiv.org