arXiv cs.CL· Hussein Jawad, Nicolas J-B Brunel·· 9 小时前AI 评分35
PSM:用 LLM 引导的黑盒优化最小化系统提示词敏感性
PSM: Prompt Sensitivity Minimization via LLM-Guided Black-Box Optimization
AI 导读
研究者提出 PSM 框架,通过"盾牌附加"为系统提示词增加一层保护性文本,并将提示词加固形式化为效用约束优化问题,由 LLM 作为优化器搜索 SHIELD 空间。
正文 · AI 翻译
摘要:系统提示词对于引导大型语言模型(LLM)的行为至关重要,但它们往往包含专有逻辑或敏感信息,因而成为提取攻击的首要目标。对抗性查询能够成功诱导出这些隐藏指令,构成重大的安全与隐私风险。现有的防御机制通常依赖启发式方法、产生大量计算开销,或无法适用于通过黑盒 API 访问的模型。本文提出了一种通过追加防护层来加固系统提示词的新框架,这是一种轻量级方法,在原始提示词之上添加一层保护性文本。我们的核心贡献是将提示词加固形式化为一个效用约束优化问题。我们利用 LLM 作为优化器来搜索可能的 SHIELD 空间,力求最小化由一组对抗性攻击得出的泄露指标,同时保持任务效用高于指定阈值(以与基线输出的语义保真度衡量)。这种黑盒、优化驱动的方法轻量且实用,仅需对目标 LLM 和优化器 LLM 的 API 访问权限。我们通过实验证明,我们优化的 SHIELD 能显著降低针对一系列全面提取攻击的提示词泄露,在不损害模型预期功能的情况下优于现有基线防御。我们的工作为在日益升级的 LLM 安全格局中开发稳健、效用感知的防御提供了一种范式。代码已在以下链接公开:this https URL
| 评论: | 已被 Trustworthy Agentic AI Workshop @ AAAI 2026(新加坡,2026 年 1 月 27 日)接收。研讨会 PDF:this https URL |
| 主题: | 密码学与安全(cs.CR);计算与语言(cs.CL) |
| 引用为: | arXiv:2511.16209 [cs.CR] |
| (或 arXiv:2511.16209v3 [cs.CR] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2511.16209 arXiv 颁发的 DOI(通过 DataCite) |
提交历史
来自:Hussein Jawad [查看邮箱]
[v1]
2025 年 11 月 20 日星期四 10:25:45 UTC(36 KB)
[v2]
2026 年 2 月 1 日星期日 16:18:00 UTC(36 KB)
[v3]
2026 年 11 月 17 日星期二 13:51:44 UTC(2,783 KB)
来源:arXiv cs.CL · arxiv.org