arXiv cs.AI· Yijing Lin, Zhendong Mao, Mengqi Huang, Yuxin Wang, Yongdong Zhang·· 12 小时前AI 评分34
FrameForge：利用视频基础模型先验实现统一图像生成
FrameForge: Harnessing Priors of Video Foundation Models for Unified Image Generation
AI 导读
FrameForge 通过输入自适应的虚拟时间关系，把视频基础模型用于统一条件图像生成。其 Mixture of Temporal Experts（MoTE）动态选择不同虚拟间隔的时间 RoPE 专家来建模目标与条件的距离，Chain of Temporal Reasoning（CoTR）则用潜在中间状态和推理瓶颈注意力掩码建模条件到目标的变换。
正文 · AI 翻译
摘要：统一的条件图像生成要求单一模型在保留视觉输入不同方面的同时，生成遵循文本引导的目标图像。预训练视频模型通过编码跨时间的视觉变换提供了有前景的基础，然而现有方法通常将条件和目标分配到固定的时间位置。我们观察到条件-目标关系在不同生成任务之间差异显著，而视频模型天然在不同时间尺度上编码视觉变换。这促使我们通过输入自适应的虚拟时间关系来建模条件生成。我们提出 FrameForge，它捕捉此类关系的两个互补方面。时间专家混合（MoTE）通过动态选择具有不同虚拟间隔的时间 RoPE 专家来建模目标与条件之间的距离。时间推理链（CoTR）通过潜在中间状态建模条件如何变换为目标，并使用推理瓶颈注意力掩码鼓励信息沿该路径传播。在 DreamBench、COCO2017 和 GEdit-Bench 上的实验表明，FrameForge 在主体驱动生成、canny 到图像生成和图像编辑方面在所比较的方法中取得了更优的性能。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.36545 [cs.CV] |
| （或 arXiv:2610.36545v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36545 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yijing Lin [查看邮箱]
[v1]
2026年10月27日星期二 02:59:22 UTC（11,075 KB）
来源：arXiv cs.AI · arxiv.org