arXiv cs.AI· Gonzalo Mancera, Julian Fierrez, Aythami Morales, Ruben Tolosana, Daniel DeAlcala, Francisco Jurado·· 3 天前AI 评分24
inLoRA-MINT：用内部表征审计领域适配 LLM 的训练数据
inLoRA-MINT: Internal Representations for Auditing Training Data in Domain-adapted LLMs
AI 导读
研究提出 inLoRA-MINT，基于中间层激活与参数相关信号训练 MINT 分类器，在无需完整访问模型参数的情况下判断样本是否被用于 LoRA 微调。在 Qwen、Phi-4、DeepSeek-V3 和 LLaMA 3.2-3B 四款模型、覆盖医学、数学与学术推理三个数据集上，得分稳定在 95% 至 98%。该方法可用于敏感训练数据审计与数据溯源，并支持隐私与 AI 治理合规。
正文 · AI 翻译
摘要：本文研究了成员推理测试（MINT）在经 LoRA 微调的大语言模型（LLM）上的应用，旨在判断特定样本是否在训练中被使用，并回应有关数据隐私、泄露和透明度的关切。在我们此前仅依赖困惑度、处于严格黑盒设置下的 LoRA-MINT 框架基础上，我们提出了一种基于模型中间表示的方法，包括激活值和依赖参数的信号。这些表示使 MINT 分类器无需完全访问模型参数即可区分训练样本与非训练样本。
我们在四个 LLM（Qwen、Phi-4、DeepSeek-V3 和 LLaMA 3.2-3B）上评估了该方法，这些模型在涵盖医学、数学和学术推理任务的三个数据集上进行了微调。结果表明，该方法在不同架构和领域上表现一致，得分在 95% 到 98% 之间，并且对模型配置和数据分布的变化具有鲁棒性。所提出的方法能够对敏感训练数据进行高效审计，并支持数据溯源以及符合新兴的隐私和 AI 治理法规。尽管我们的实验聚焦于基于 LoRA 的微调，该方法可扩展到其他 LLM 适配技术，并更广泛地适用于其他 AI 模型。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.18051 [cs.LG] |
| （或 arXiv:2610.18051v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18051 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Gonzalo Mancera [查看电子邮件]
[v1]
2026年10月13日星期二 09:40:58 UTC（403 KB）
来源：arXiv cs.AI · arxiv.org