arXiv cs.AI· Yixin Tan, Zhe Yu, Rui Wen, Jun Sakuma·· 14 小时前AI 评分42
预训练模型暴露如何放大微调 LLM 的越狱风险：Probe-Guided Projection 攻击
One Leak Away: How Pretrained Model Exposure Amplifies Jailbreak Risks in Finetuned LLMs
AI 导读
研究发现，在预训练模型上优化的对抗提示词能最有效地迁移到其微调变体，说明微调 LLM 会继承预训练来源的越狱漏洞。基于可迁移提示词在预训练隐状态中线性可分的发现，作者提出 Probe-Guided Projection（PGP）攻击，在多个 LLM 系列和微调任务上验证了强迁移成功率。同样的表征层面洞察还可用于构建轻量防御，在保持下游效用的同时缓解预训练到微调的越狱迁移。
正文 · AI 翻译
摘要：微调预训练大语言模型（LLM）已成为开发下游应用的标准范式。然而，其安全影响仍不明确，尤其是微调后的 LLM 是否会从其预训练来源继承越狱漏洞。我们在一个真实的预训练到微调威胁模型中研究这一问题，其中攻击者可以完全访问已发布的预训练 LLM，但无法访问其专有的微调衍生模型。实证分析表明，在预训练模型上优化的对抗提示能够最有效地迁移到其微调变体，揭示了从预训练 LLM 到微调 LLM 的继承性漏洞。为了进一步考察这种继承性，我们进行了表示级探测，结果表明可迁移提示在预训练隐藏状态中是线性可分的，这表明与可迁移性相关的结构已经编码在预训练表示中。基于这一洞见，我们提出了探针引导投影（PGP）攻击，它将优化引导至与可迁移性相关的方向。跨多个 LLM 系列和多样化微调任务的实验证实了 PGP 的强大迁移成功率，凸显了预训练到微调范式固有的安全风险。最后，我们证明同样的表示级洞见还能实现一种轻量级防御，在保持下游效用的同时缓解预训练到微调的越狱迁移。
| 评论： | 本文已被 ACM SIGSAC 计算机与通信安全会议（ACM CCS）接收 |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2512.14751 [cs.CR] |
| （或 arXiv:2512.14751v4 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2512.14751 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yixin Tan [查看电子邮件]
[v1]
2025年12月14日周日 07:48:44 UTC（1,915 KB）
[v2]
2026年7月30日周四 08:46:52 UTC（3,965 KB）
[v3]
2026年8月6日周四 14:19:01 UTC（3,968 KB）
[v4]
2026年10月24日周六 06:04:46 UTC（3,967 KB）
来源：arXiv cs.AI · arxiv.org