arXiv cs.AI· Hua Yang, Alejandro Velasco, Sen Fang, Bowen Xu, Denys Poshyvanyk·· 14 小时前AI 评分31
训练动态如何影响代码模型隐私风险：一项因果视角研究
A Causal Perspective on the Role of Training Dynamics for Interpreting Privacy Risks in Code Models
AI 导读
研究构建含多种 PII 类型的数据集并微调不同规模的代表性 LLM4Code 模型，用结构因果模型估计可学习性对泄漏的因果效应。结果显示泄漏风险因 PII 类型而异：IP 地址等易学样本泄漏更多，密钥和密码等较难类型泄漏更少，模糊类型表现混合。这是首个表明泄漏风险依赖 PII 类型的因果证据，可为类型感知与可学习性感知的防御提供指导。
正文 · AI 翻译
摘要：面向代码的大型语言模型（LLM4Code）极大地提升了开发者生产力，但也因依赖包含大量个人可识别信息（PII）的开源仓库而引发隐私担忧。已有研究表明商业模型能够复现敏感 PII，但现有研究大多将 PII 视为单一类别，忽视了不同类型之间的异质风险。我们研究不同 PII 类型在被 LLM4Code 学习和泄露的可能性上是否存在差异，以及这种关系是否具有因果性。我们的方法包括：构建包含多种 PII 类型的数据集，微调不同规模的代表性模型，在真实 PII 数据上计算训练动态，并构建结构因果模型以估计可学习性对泄露的因果效应。结果表明，泄露风险在不同 PII 类型之间差异显著，并与其训练动态相关：易于学习的实例（如 IP 地址）表现出更高的泄露，而较难的类型（如密钥和密码）泄露频率较低。歧义类型表现出混合行为。本工作首次提供了泄露风险依赖于类型的因果证据，并为 LLM4Code 开发类型感知和可学习性感知的防御措施提供了指导。
| 评论： | 27 页 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2512.07814 [cs.SE] |
| （或 arXiv:2512.07814v3 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2512.07814 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hua Yang [查看邮箱]
[v1]
2025 年 12 月 8 日星期一 18:47:40 UTC（1,738 KB）
[v2]
2025 年 12 月 9 日星期二 03:23:33 UTC（1,738 KB）
[v3]
2026 年 10 月 23 日星期五 20:52:23 UTC（3,252 KB）
来源：arXiv cs.AI · arxiv.org