arXiv cs.AI· Tushar Nayan, Pratik Poudel, Qian Lou, Yuede Ji, Jason Liu, Ruimin Sun·· 12 小时前AI 评分34
AdvGuard：检测与缓解基于查询的系统提示词泄露攻击
Detecting and Mitigating Query-Based System Prompt Leakage Attacks
AI 导读
AdvGuard 是一个模型无关的框架，用于检测和缓解 LLM 系统提示词泄露攻击，通过有界语义交互图建模跨查询关系并用 GCN 分类。在混合查询评测中，其召回率比最强基线最高提升 36%，误报率不超过 3.4%；多轮负载下达到 97.23%-99.1% F1 和 100% 召回。集成到 PLeak 与 LeakAgent 攻击循环后，精确匹配泄露被限制在 0.00-0.01。
正文 · AI 翻译
摘要：大型语言模型（LLM）依赖专有的系统提示来执行任务指令、安全策略和访问控制。这些提示容易受到基于查询的泄露攻击，黑盒对手通过自适应、多轮交互提取机密指令。现有防御措施通常独立评估查询，忽略了跨交互出现的恶意行为。
我们提出 AdvGuard，一个与模型无关的框架，用于检测和缓解系统提示泄露。AdvGuard 使用有界语义交互图对跨查询关系建模，对候选组件进行统计过滤，并将其转换为线图以进行图卷积网络（GCN）分类。这种方法捕获查询相似性中的多跳模式，从而区分协同提取与良性工作流。轻量级提示级检测器在积累足够的交互历史之前提供保护，且该框架支持黑盒 LLM 部署。
在混合查询评估中，AdvGuard 相比最强基线将召回率提升高达 36%，同时将误报率保持在至多 3.4%。在多轮工作负载中，它以 100% 的召回率实现 97.23%-99.1% 的 F1。留一攻击家族测试产生 99.98% 的平均召回率和 99.99% 的平均 F1，且未观察到误报。集成到自适应 PLeak 和 LeakAgent 攻击循环中，AdvGuard 在所评估的受害模型上将精确匹配泄露限制在 0.00-0.01，将子串匹配泄露限制在 0.01-0.09。这些结果证明了对未见攻击家族的稳健检测，并大幅减少了提示重建。
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.36295 [cs.CR] |
| （或 arXiv:2610.36295v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36295 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tushar Nayan [查看电子邮件]
[v1]
2026年10月26日星期一 21:23:10 UTC（740 KB）
来源：arXiv cs.AI · arxiv.org