arXiv cs.AI· Shivesh Rane·· 11 小时前AI 评分38
仅凭模型产物即可还原 LoRA 微调的训练数据领域：嵌入空间指纹研究
Embedding-Space Fingerprinting of LoRA Fine-Tunes: Recovering the Training-Data Domain from the Model Artifact Alone
AI 导读
一项研究用 Qwen3.5-0.8B 基座在 18 个公开数据集上训练 36 个 LoRA 微调，测试仅凭模型产物能否还原训练数据所属领域。在留一数据集协议下，灰盒激活与黑盒生成文本的领域识别准确率分别为 61% 和 64%，远高于 20% 的随机基线，白盒权重统计仅 42%。仅用生成文本、不含 token 概率时黑盒结果仍为 64%，且不受 LoRA rank（8-64）影响。
正文 · AI 翻译
摘要：当基础语言模型使用低秩适配（LoRA）进行微调时，有多少训练数据领域的信息会泄漏到最终产物中？本文研究一个简单的分类器能否在从未观察训练数据的情况下，仅凭模型产物（权重增量、在固定探针集上的内部激活，或生成的文本）恢复微调的领域。使用一个基础模型（Qwen3.5-0.8B），在五个领域（医学、代码、数学、非英语文本、叙事散文）的 18 个公开数据集上产生了 36 个 LoRA 微调，并在逐级降低的访问级别上提取了三类特征：白盒权重、灰盒激活和黑盒输出。采用留一数据集（LODO）协议，该协议在任何结果出现之前就已冻结，用于测试能否识别在先前未见数据集上训练的微调的领域。从灰盒激活（61%）和黑盒输出（64%）中恢复领域的准确率远高于随机水平（20%）；白盒权重统计达到 42%。与预先注册的假设——信号从权重到激活再到输出单调衰减——相反，激活和输出比权重增量统计更具信息量。当仅使用生成的文本而不使用 token 概率时，黑盒结果保持不变（64%）。当每个数据集在独立抽取的数据子样本上训练第三次运行时，领域准确率也保持稳定，且黑盒预测不受 LoRA 秩（8-64）的影响。所有代码和每次运行的特征向量均已发布。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.07610 [cs.AI] |
| （或 arXiv:2611.07610v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.07610 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shivesh Rane [查看电子邮件]
[v1]
2026年11月5日星期四 07:55:05 UTC（156 KB）
来源：arXiv cs.AI · arxiv.org