跳到正文
arXiv cs.AI· Ana Clara Zoppi Serpa, Anderson Rocha, H\'elio Pedrini·· 4 小时前AI 评分60

研究:363 个模型中有 296 个被智能体套出系统提示词中的密钥

Eight in Ten LLMs Leak System-Prompt Secrets: Nevan, an Agentic Capture-the-Flag Study

AI 导读

研究团队对 OpenRouter 目录中 363 个文本输入输出模型做指令层级审计,由 OpenCode(基于 DeepSeek V4.1 Flash)在人类研究员引导下诱导模型输出系统提示词中的 16 字符 flag,最终从 296 个模型及 4 个目录冻结后发布的模型中成功提取,共 300 次捕获,其中 170 次借助非英语语言切换、最常用法语。

正文 · AI 翻译

查看 PDF

摘要:我们审计了 OpenRouter 目录中 363 个文本输入/文本输出模型的指令层级执行情况。本实验要回答的研究问题是:哪些模型会泄露嵌入系统提示中的受保护秘密,以及通过哪些技术手段。每个模型都在其系统提示中守护一个 16 字符的秘密标志,而由人类研究员操控的人工智能(AI)代理(OpenCode,由 DeepSeek V4.1 Flash 驱动)试图说服它输出该标志。该标志从 363 个模型中的 296 个,以及初始目录冻结后发布的四个模型中被窃取,共获得 300 次捕获。其中,170 次涉及非英语语言转向,最常见的是法语。每次捕获都表明,某个模型至少有一次将用户请求置于其系统指令之上。这并不表明该模型可证明能抵御未经测试的攻击,也不表明它会持续泄露语义敏感数据,更不表明它易受有害内容越狱攻击。对于从业者,我们得出三条经验教训:不要在系统提示中存储秘密;通过输出验证和确定性检查在模型之外强制执行关键行为;不要让大语言模型(LLM)评判器成为重大后果的唯一决定者。
学科: 密码学与安全(cs.CR);人工智能(cs.AI)
引用为: arXiv:2611.21956 [cs.CR]
  (或 arXiv:2611.21956v1 [cs.CR] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.21956

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Ana Clara Zoppi Serpa [查看电子邮件]
[v1] 2026 年 11 月 16 日星期一 22:37:31 UTC(101 KB)

来源:arXiv cs.AI · arxiv.org