arXiv cs.CL· Gianluca Barmina, Peter Schneider-Kamp, Lukas Galke Poech·· 2 天前AI 评分44
LLMs 会泄露训练数据吗？PropMe 框架评估模型的记忆倾向
LLMs Can Leak Training Data But Do They Want To? Evaluating Memorization Propensity in LLMs
AI 导读
研究者提出 PropMe 框架，将前缀攻击的能力评估与非对抗性倾向评估配对，并用 SimpleTrace 对每次生成结果与模型完整索引训练语料逐一比对。
正文 · AI 翻译
摘要：大型语言模型能够复现训练数据，但记忆评估大多衡量的是模型能否被诱导复现，而非在没有对抗性提示的情况下是否会复现。我们提出 PropMe，一个将能力评估（前缀攻击）与非对抗性倾向评估配对，并引入倾向性指标来关联两者的框架。我们使用 SimpleTrace（OLMoTrace 跨度匹配的开源批量实现）将每次生成与模型完整的索引训练语料进行核对。我们在 Common Pile、Dynaword 和 Dolma3 上评估了 Comma、其持续预训练衍生模型 DFM Decoder 以及 OLMo3 32B，采用四种非对抗性设置，从无提示到来自未见过的领域内来源的句子。结果表明，自然句子提示复现的训练文本远少于前缀攻击。然而，在四对模型-语料中的三对里，无提示或仅用单个常见词生成所复现的文本与前缀攻击相当或更多；这些文本大多是重复的许可证、代码和模板。在我们的设置中，持续预训练仅适度减少了原始语料的长篇逐字复现。更广泛地说，我们认为通过同时测试能力和倾向，可以更全面地了解模型的记忆行为。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.06286 [cs.CL] |
| （或 arXiv:2606.06286v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2606.06286 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Gianluca Barmina [查看电子邮件]
[v1]
2026年6月4日星期四 15:25:24 UTC（1,385 KB）
[v2]
2026年10月27日星期二 08:36:26 UTC（885 KB）
来源：arXiv cs.CL · arxiv.org