更省训练、更少泄露：重新审视 LoRA 微调中的 LLM 记忆化

Leaner Training, Lower Leakage: Revisiting Memorization in LLM Fine-Tuning with LoRA

AI 导读

研究重新审视了 LoRA 微调中的记忆化问题，发现模型规模和数据重复等在前训练与全量微调中显著影响记忆化的因素，在 LoRA 微调中并不遵循相同趋势。采用更宽松的基于相似度的记忆化指标，LoRA 相比全量微调显著降低了记忆化风险，同时仍保持较强的任务性能。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：大型语言模型（LLM）中的记忆化使其容易受到数据提取攻击。虽然预训练阶段的记忆化已被广泛研究，但较少有工作探讨其在微调中的影响，尤其是对 LoRA 微调这一被广泛采用的参数高效方法的影响。
在本工作中，我们重新审视了微调中的记忆化，并发现了不同微调策略下与先前发现令人意外的差异。模型规模和数据重复等因素在预训练和全量微调中强烈影响记忆化，但在 LoRA 微调中并不遵循相同的趋势。使用更宽松的基于相似度的记忆化指标，我们证明 LoRA 相比全量微调显著降低了记忆化风险，同时仍保持强大的任务性能。

主题：	机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；密码学与安全（cs.CR）
引用为：	arXiv:2506.20856 [cs.LG]
	（或 arXiv:2506.20856v1 [cs.LG] 为此版本）
	https://doi.org/10.48550/arXiv.2506.20856 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Fei Wang [查看邮箱]
[v1] 2025年6月25日星期三 22:01:25 UTC（281 KB）

来源：arXiv cs.AI · arxiv.org