arXiv cs.AI· Xiang Li, Yixuan Jia, Xiao Li, Jeffrey A. Fessler, Rongrong Wang, Qing Qu·· 12 小时前AI 评分31
MCLR:通过类间似然比最大化改进条件生成,并统一无分类器引导与对齐目标
MCLR: Improving Conditional Modeling via Inter-Class Likelihood-Ratio Maximization and Unifying Classifier-Free Guidance with Alignment Objectives
AI 导读
研究者提出微调目标 MCLR,通过显式最大化类间似然比增强类别特定结构,在多种模型和数据集上显著提升无引导条件生成效果并缩小与 CFG 的差距。理论上证明 CFG 引导得分是样本自适应加权、ELBO 近似的 MCLR 目标的唯一极小值点,从而将 CFG 解释为隐式的推理时对比对齐过程。研究还厘清了 MCLR 与 DPO、CCA、CFM 等对比目标的联系与差异。
正文 · AI 翻译
摘要:扩散模型具有强大的生成性能,但往往依赖无分类器引导(CFG),这是一种在推理阶段修改采样轨迹的干预手段。由于标准去噪分数匹配(DSM)在分数学习准确时应能恢复目标分布,CFG 在实际中的必要性表明所学习的条件分数存在缺陷。我们将类间分离较弱识别为其中一种局限:在不同标签下由同一噪声生成的样本可能保留相似的类无关结构。为弥补这一缺陷,我们提出 MCLR,一种有原则的微调目标,显式最大化类间似然比,从而在标准采样下强化类特定结构。在多种模型和数据集上,MCLR 显著提升了无引导的条件生成,并缩小了与 CFG 的差距。在理论上,我们证明 CFG 引导的分数是样本自适应加权的、ELBO 近似的 MCLR 目标的唯一极小值点,从而将 CFG 解释为一种隐式的推理阶段对比对齐过程。我们进一步将 MCLR 与相关对比目标(包括 DPO、CCA 和 CFM)进行比较,在原本零散的文献中厘清它们之间的联系与关键差异。
| 主题: | 机器学习(cs.LG);人工智能(cs.AI);计算机视觉与模式识别(cs.CV) |
| 引用为: | arXiv:2603.22364 [cs.LG] |
| (或 arXiv:2603.22364v4 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2603.22364 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Xiang Li [查看邮箱]
[v1]
2026年3月23日星期一 05:01:47 UTC(45,122 KB)
[v2]
2026年4月9日星期四 15:35:52 UTC(28,146 KB)
[v3]
2026年5月12日星期二 23:23:12 UTC(21,817 KB)
[v4]
2026年10月20日星期二 20:25:03 UTC(23,654 KB)
来源:arXiv cs.AI · arxiv.org