arXiv cs.AI· Haipeng Liu, Yang Wang, Meng Wang·· 10 天前AI 评分25
Dual-FDM：在频率感知扩散模型中解耦双重图像参考的个性化生成
Disentangling Dual Image References in Frequency Aware Diffusion Models for Personalized Generation
AI 导读
研究者提出 Dual-FDM，一种在频率感知扩散模型中解耦双重图像参考的个性化生成范式，可同时处理定制风格迁移与色彩风格迁移。该方法通过掩码策略在频域解耦不同频段：定制风格迁移用定制参考前景的中频段替换风格参考背景的中频段，色彩风格迁移则用色彩参考前景与背景的低频段替换风格参考背景的低频段。实验验证其优于当前最先进的个性化图像生成扩散模型，代码已公开，论文将发表于 NeurIPS 2026。
正文 · AI 翻译
摘要：个性化图像生成旨在以参考图像为条件合成文本驱动的图像，主要将生成任务分为针对前景的图像定制和针对背景的风格迁移。此前的扩散模型方法在去噪过程中存在图像定制时文本与背景不对齐、风格迁移时文本与前景不对齐的问题。正如我们所观察到的，此类问题源于去噪过程中混合频段之间的纠缠。为解决这一显著局限，本文研究了基于双重参考——定制参考与颜色和风格参考——的个性化生成，并提出了一种在频率感知扩散模型（Frequency-aware Diffusion Models，简称 Dual-FDM）中解耦这些双重图像参考的范式，通过频域中的掩码策略解耦不同频段，从而同时解决两项关键的个性化图像生成任务：定制风格迁移和颜色风格迁移。对于定制风格迁移，我们用定制参考前景的中频段替换风格参考背景的中频段。对于颜色风格迁移，我们用颜色参考前景和背景的低频段替换风格参考背景的低频段。两个被替换的频段均用作键和值，以重建去噪后个性化此 http URL的前景和背景查询。实验验证了 Dual-FDM 在个性化图像生成方面优于最先进的扩散模型。我们的代码可从此 https URL获取。
| 评论： | 28 页，14 幅图，将于 2026 年在澳大利亚悉尼举行的 NeurIPS 上发表 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.07684 [cs.CV] |
| （或 arXiv:2610.07684v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07684 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Haipeng Liu [查看邮箱]
[v1]
2026 年 10 月 6 日星期二 03:18:07 UTC（47,767 KB）
来源：arXiv cs.AI · arxiv.org