arXiv cs.AI· Tiancheng Shen, Zilong Huang, Xiangtai Li, Zhijie Lin, Jiyang Liu, Yitong Wang, Jiashi Feng, Ming-Hsuan Yang, Jun Hao Liew·· 3 天前AI 评分25
QK-Edit：重新审视 MM-DiT 中基于注意力的图像与视频编辑注入方法
QK-Edit: Revisiting Attention-based Injection in MM-DiT for Image and Video Editing
AI 导读
QK-Edit 是一个无需训练的框架，通过新的 query-key 操控策略利用 MM-DiT 的多模态自注意力动态，实现文本引导的图像与视频编辑。该方法支持物体添加、移除、替换、背景/材质/颜色更改和风格转换等任务，并可通过推理时的特征替换实现。在 FLUX 和 HunyuanVideo 等模型上，QK-Edit 展现出更优的编辑性能，该工作已被 ICCV 2025 接收。
正文 · AI 翻译
摘要：多模态扩散 Transformer（MM-DiT）近来已成为统一文本-视觉合成的强大框架，在生成任务中超越了传统的 U-Net 架构。其一项关键创新在于多模态自注意力（MM-SA）交互，其中图像和文本 token 被拼接并通过自注意力进行处理。然而，这一机制给编辑带来了重大挑战，使传统的基于 U-Net 的注意力操控方法失效。为解决这一局限，我们提出 QK-Edit，一个无需训练的框架，利用 MM-DiT 独特的注意力动态来实现精确的文本引导图像和视频编辑。通过引入一种新颖的查询-键操控策略，我们的方法分离并调整关键的注意力组件，以在提示保真度与结构一致性之间实现最佳平衡。这使得跨多种任务的无缝编辑成为可能，包括对象添加、对象移除、对象替换、更改背景、更改材质、更改颜色以及风格转换。值得注意的是，它可以通过推理中的特征替换轻松实现。QK-Edit 在 FLUX 和 HunyuanVideo 等最先进模型上展现出卓越的编辑性能，有效弥合了 MM-DiT 中生成能力与可编辑灵活性之间的差距，并为可扩展的多模态内容创作铺平了道路。
| 评论： | 已被 ICCV 2025 接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17829 [cs.CV] |
| （或 arXiv:2610.17829v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17829 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Tiancheng Shen [查看邮箱]
[v1]
2026年10月13日星期二 06:49:25 UTC（24,081 KB）
[v2]
2026年10月14日星期三 05:32:56 UTC（24,081 KB）
来源：arXiv cs.AI · arxiv.org