arXiv cs.AI· Sophia Zalewski, Mustafa Munir, Enting Liu, Anjul Patney, David Dynerman·· 4 小时前AI 评分35
PromptPack:无需训练的扩散编辑器增强,实现意图对齐的空间与语义控制
PromptPack: Training-Free Augmentation of Diffusion Editors for Intent-Aligned Spatial and Semantic Control
AI 导读
PromptPack 通过两种显式“Edit Guides”——将像素标注为 Keep/Permit/Modify 的编辑角色分区,以及把空间区域映射到文本提示的区域提示分配——为扩散编辑器提供意图对齐控制,无需重新训练。
正文 · AI 翻译
摘要:许多图像编辑任务要求将修改限制在预期的空间区域内,同时精确保留用户指定的源内容。指令驱动的编辑流程往往对这类用户意图描述不足,而修复式编辑器虽然以明确定义的编辑支持区域为生成条件,却不考虑各个编辑概念的空间分配。PromptPack 通过为扩散编辑器配备两个显式的“编辑引导”来解决这两方面的局限:一个是编辑角色划分,将每个像素标记为“保留”“允许”或“修改”,以指明可在何处进行编辑;另一个是区域提示分配,将空间区域映射到文本提示,以指明哪些概念适用于何处。这些引导可以手动指定,或者对于源对象编辑,可从基于文本定位的 SAM 3 掩码自动推导得出。无需重新训练,PromptPack 即可将独立嵌入的区域提示注入编辑器固定长度的文本序列,并利用编辑引导在空间上对注意力进行掩码、对流更新进行门控,并恢复受保护的源像素。我们将 PromptPack 集成到 FlowEdit FLUX、FlowEdit SD3 和 FLUX Kontext 中,并在 PIE-Bench++ 上证明,在所有三个集成中,所请求概念的位置放置和受保护内容的保留均得到改善。在成对用户研究中,PromptPack 相对于 FlowEdit FLUX 获得了 87% 的偏好率,确立了 PromptPack 作为一种实用、免训练的界面,用于意图对齐的扩散编辑。
| 评论: | 32 页,21 幅图,包括补充材料 |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI);计算机视觉与模式识别(cs.CV) |
| 引用为: | arXiv:2611.21865 [cs.LG] |
| (或 arXiv:2611.21865v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.21865 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Sophia Zalewski [查看电子邮件]
[v1]
2026 年 11 月 16 日星期一 20:30:53 UTC(44,798 KB)
来源:arXiv cs.AI · arxiv.org