arXiv cs.AI· Artyom Mazur, Nina Konovalova, Aibek Alanov·· 2 天前AI 评分31
DifFRACT：面向多模态扩散 Transformer 的扩散特征重建与归因电路追踪
DifFRACT: Diffusion Feature Reconstruction and Attribution for Circuit Tracing
AI 导读
DifFRACT 将基于 transcoder 的电路追踪扩展到多模态扩散 Transformer，在 FLUX.1[schnell] 双流块的 MLP 子层上训练时间步条件 transcoder，实现精确的特征间归因并构建紧凑归因图。
正文 · AI 翻译
摘要：尽管基于转码器的电路追踪近来已使大语言模型的详细因果分析成为可能，但语义信息如何在去噪步骤之间传播，以及文本与图像表示如何在用于图像生成的多模态扩散 Transformer（MM-DiT）中相互作用，仍不清楚。注意力图仅能揭示 token 交互的有限视图，而稀疏自编码器虽能找到可解释特征，却无法揭示非线性 MLP 层如何变换和组合这些特征。在本工作中，我们将基于转码器的电路追踪扩展到多模态扩散 Transformer。我们训练了以时间步为条件的转码器，它们能忠实近似 FLUX.1[schnell] 双流块中 MLP 子层的输入-输出行为。通过用转码器替换 MLP 并对剩余计算进行线性化，我们获得了精确的特征到特征归因，并在可解释特征上构建了紧凑的归因图。在实证上，我们的转码器在稀疏性-忠实性权衡上与稀疏自编码器持平或略优。这些图重现了已知的跨去噪步骤从提示驱动到图像驱动计算的转变，指出了属性绑定与跨流语义传播的候选机制，并为系统性生成错误提供了可通过干预检验的解释。在盲标提示网格上，图引导的干预达到了单特征引导无法达到的效果；在相同预算下，从图中选择的特征比仅使用目标特征更常修复颜色先验，且比通过共激活选择的特征更少破坏对象。FLUX.1[dev] 重现了时间与颜色先验结果，SD3.5-medium 在方向上重现了这些结果。我们的结果表明，基于转码器的电路分析对于最先进的多模态扩散 Transformer 是可行的。
| 评论： | 已被 NeurIPS 2026（主会）接收。代码：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.15796 [cs.CV] |
| （或 arXiv:2606.15796v2 [cs.CV] 为此版本） | |
| https://doi.org/10.48550/arXiv.2606.15796 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Artyom Mazur [查看邮箱]
[v1]
2026年6月14日周日 13:02:44 UTC（9,962 KB）
[v2]
2026年10月26日周一 19:20:46 UTC（10,161 KB）
来源：arXiv cs.AI · arxiv.org