arXiv cs.AI· Ren Ajiki, Ryugo Morita, Stanislav Frolov, Brian Bernhard Moser, Ko Watanabe, Riku Takahashi, Andreas Dengel, Jinjia Zhou·· 11 小时前AI 评分29
PASTA:提示词感知的退火扩散采样,无需训练即可严格保留图像预留区域
PASTA: Prompt-Aware Annealed Diffusion Sampling
AI 导读
PASTA 是一个无需训练的扩散采样框架,通过对允许生成物体的区域选择性施加语义引导,在采样过程中强制满足预留区域约束。它基于共享隐变量轨迹,用掩码引导融合完整提示词与上下文提示词的引导,并以退火调度在去噪早期抑制语义泄漏、后期逐步恢复视觉一致性。实验显示 PASTA 在提升预留区域保真度的同时保持了整体图像真实感与感知一致性,论文已被 ICONIP2026 接收。
正文 · AI 翻译
摘要:虽然扩散模型能生成高质量图像,但现实世界的视觉设计需要有意保留干净区域,用于放置标题、徽标或 UI 元素。现有的布局感知文本到图像方法难以严格保留预留区域,往往会引入不需要的内容,使下游编辑变得复杂。现有方法要么操纵注意力以移开内容,要么通过噪声水平干预来抑制条件。然而,这些方法牺牲了视觉连贯性,在预留区域与非预留区域之间产生平坦区域或明显的风格不一致。为解决这一局限,我们提出 Prompt-Aware Shared-Latent Training-Free Annealed Diffusion Sampling(PASTA),这是一个无需训练的框架,通过在采样过程中选择性地对允许放置对象的区域施加语义引导,来强制满足预留区域约束。PASTA 在共享潜在轨迹上运行,其中完整提示与上下文提示的引导通过掩码引导采样进行融合。退火调度在早期去噪阶段抑制语义泄漏,同时在后期阶段逐步恢复视觉一致性。大量实验表明,PASTA 在提升预留区域保真度的同时,保持了整体图像的真实感和感知一致性。
| 评论: | 15 页,4 幅图,2 张表。已被 ICONIP2026 接收 |
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2610.32390 [cs.CV] |
| (或 arXiv:2610.32390v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.32390 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Ren Ajiki [查看邮箱]
[v1]
2026 年 10 月 23 日星期五 09:16:22 UTC(20,455 KB)
来源:arXiv cs.AI · arxiv.org