arXiv cs.CL· Tianjing Li, Wei Zhu·· 9 天前AI 评分22
Diffu-LoRA：面向个性化扩散模型的新型低秩适配方法
Diffu-LoRA: A Novel Low-Rank Adaptation for Personalized Diffusion Models
AI 导读
Diffu-LoRA 是一种参数高效的低秩适配方法，通过在 Transformer 块的线性层插入可训练低秩组件并为每个组件分配可学习门控，实现跨层非均匀的适配容量分配。
正文 · AI 翻译
摘要：基于少量参考图像对文本到图像扩散模型进行个性化，需要在遵循描述新场景的提示词的同时保留主体身份。全模型微调参数开销大，而低秩适应（LoRA）减少了可训练参数的数量，但如何将适应容量分配到各层仍是一个未决问题。我们提出 Diffu-LoRA，一种参数高效的方法，通过门控低秩适应来学习这种分配。Diffu-LoRA 将可训练的低秩组件插入 Transformer 块的线性层中，并为每个组件分配一个可学习的门控。双层优化在独立的数据划分上更新适应权重和门控参数，而渐进式剪枝则移除门控值最低的组件，以满足规定的秩预算。该过程在各层之间非均匀地分配适应容量，同时保持预训练主干冻结。在 DreamBooth 及额外收集数据集中的主体上使用 Stable Diffusion 进行的实验表明，相对于所评估的微调基线，整体主体保真度和提示词对齐均有所提升。消融研究考察了双层优化、渐进式剪枝和适配器放置的贡献。这些结果支持将学习到的秩分配作为参数高效扩散模型个性化的一种实用方法。
| Subjects: | 计算与语言 (cs.CL) |
| 引用为： | arXiv:2610.10550 [cs.CL] |
| （或 arXiv:2610.10550v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10550 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Wei Zhu [查看邮箱]
[v1]
2026年9月24日星期四 16:57:09 UTC (253 KB)
来源：arXiv cs.CL · arxiv.org