arXiv cs.AI· Haoran You, Yotam Nitzan, Lingzhi Zhang, Yifan Gong, Mang-Tik Chiu, Connelly Barnes, Yan Kang, Yuqian Zhou, Haitian Zheng, Eli Shechtman, Sohrab Amirghodsi·· 3 天前AI 评分26
HiLo-Token：面向高效图像编辑的输入自适应高低频 Token 压缩
HiLo-Token: Input-Adaptive High-Low Frequency Token Compression for Efficient Image Editing
AI 导读
针对 DiT 在图像编辑中占平均 73% 延迟的问题，研究者提出输入自适应 Token 压缩框架 HiLo-Token，对高频富上下文区域分配更多 Token、低频区域分配更少。在 A100-80GB 上，小、中、大掩码比例（平均 6.38%、15.92%、35.36%）分别取得 3.13×、2.59×、1.67× 的 DiT 加速且生成质量无退化，生产环境中服务所需 GPU 减少 33%。
正文 · AI 翻译
作者：Haoran You、Yotam Nitzan、Lingzhi Zhang、Yifan Gong、Mang-Tik Chiu、Connelly Barnes、Yan Kang、Yuqian Zhou、Haitian Zheng、Eli Shechtman、Sohrab Amirghodsi
摘要：创意图像编辑工具，例如 Adobe Photoshop 的“移除”和“生成式填充”按钮，是日常客户使用的核心功能，并占据了很大一部分流量。然而，当前的生成式 AI 模型面临显著的延迟挑战，随着该领域从基于卷积的 U-Net 转向扩散 Transformer（DiT），这一问题变得更加突出。在我们对数百个具有广泛掩码比例的代表性图像编辑样本进行的评估中，即使已从 50 个时间步蒸馏到 8 个时间步，仅 DiT 模块就平均占模型总延迟的 73%。为应对这一挑战，我们提出了 \textbf{HiLo-Token}，一种输入自适应的 token 压缩框架，它为高频、上下文丰富的区域分配更大的 token 预算，同时为低频区域分配更少的 token。具体而言，对于用户掩码指定的编辑区域，我们保留膨胀掩码内的所有 token，以保持强局部性和上下文相关性。在编辑区域之外，我们引入一种简单而有效的基于空间频率的高频 token 选择策略，以捕捉重要的局部细节，同时使用来自大幅下采样图像的 token 来表示低频分量并保留粗略的全局结构。在生产级评估数据上的大量实验验证了所提方法的有效性，该方法在 A100-80GB 上针对小、中、大掩码比例类别（平均比例分别为 6.38%、15.92% 和 35.36%）的图像编辑任务，实现了 3.13$\times$、2.59$\times$ 和 1.67$\times$ 的 DiT 加速，且生成质量没有任何下降。在生产环境中，编辑流水线以分离式、独立自动扩缩的 GPU worker 形式提供服务，这些每请求的节省转化为服务这些模型所需 GPU 数量减少 33%。
| 评论： | 17 页，11 张图，已申请专利 |
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.13898 [cs.CV] |
| （或 arXiv:2606.13898v3 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.13898 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Haoran You [查看电子邮件]
[v1]
2026 年 6 月 11 日星期四 20:45:26 UTC（19,097 KB）
[v2]
2026 年 9 月 18 日星期五 18:33:32 UTC（19,127 KB）
[v3]
2026 年 10 月 10 日星期六 17:55:26 UTC（18,979 KB）
来源：arXiv cs.AI · arxiv.org