arXiv cs.AI· Longhao Lei, Lan Yao·· 3 天前AI 评分27
SharedSAE：跨 U-Net 模块与去噪时间的扩散模型统一稀疏字典
SharedSAE: a unified sparse dictionary across u-net blocks and denoising time for diffusion models
AI 导读
SharedSAE 为 SDXL 1.0 学习了一个跨四个 U-Net 注意力模块和全部 50 个去噪步共享的稀疏字典，通过块特定低秩输入适配器与时间条件模块吸收时间非平稳性。基于该字典的局部特征抑制将 I2P 检测器阳性子集中 NudeNet 阳性生成数从 139 降至 1。追踪稀疏特征还发现，概念表示在生成过程中从最早的降采样模块向中间及更晚模块重新分布。
正文 · AI 翻译
摘要：扩散模型中的概念表示会随网络深度和去噪时间发生漂移，然而现有的稀疏自编码器仅提供逐块或逐时间步的字典，无法为网络中的定位与干预提供单一的特征字典。我们提出共享稀疏自编码器（SharedSAE），它学习一个在 SDXL 1.0 的四个 U-Net 注意力块和全部 50 个去噪步骤之间共享的稀疏字典。块特定的低秩输入适配器在共享编码器之前对齐每个块的残差分布，而带有共享时间步分支和块-时间步校正分支的时间条件模块则吸收时间非平稳性。尽管横跨两个轴，Shared SAE 仍保持了连贯的字典结构。基于该共享字典，局部特征抑制将 I2P 检测器阳性子集中 NudeNet 阳性生成的数量从 139 减少到 1。沿轨迹追踪稀疏特征进一步揭示，在生成过程中概念表示会在 U-Net 各块之间重新分布，随着去噪的推进，从最早的降采样块向中间和较晚的块转移。因此，SharedSAE 为扩散模型提供了一个统一、可解释且可随时干预的表示空间，使得在任意覆盖的块和去噪步骤上进行概念分析与擦除成为可能。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.13997 [cs.CV] |
| （或使用 arXiv:2610.13997v1 [cs.CV] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.13997 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Lan Yao [查看邮箱]
[v1]
2026年9月27日星期日 00:35:51 UTC（33,502 KB）
来源：arXiv cs.AI · arxiv.org