arXiv cs.CL· Junwei Yao, Jianan Liu, Yongxi Zhou, Zike Yang·· 10 小时前AI 评分42
研究：低置信度监控能排序提示词注入劫持，却拦不住它们
Ranked but Not Stopped: Detecting Prompt-Injection Hijacks from Typed Decision Models' Output Probabilities
AI 导读
针对把语言模型当分类器使用的场景，研究者用模型自身置信度检测提示词注入劫持，在 AG News 主题分类的五个系统（三个经 API 提供）上测试：低置信度在五个系统中有四个能把被劫持答案排在干净答案之前（AUROC 0.86-0.90），但排序不等于拦截。
正文 · AI 翻译
摘要：将语言模型用作分类器的程序会依据其最可能的标签采取行动。注入到输入中的文本可以将该标签移动到攻击者选择的标签，即劫持。不知道攻击者标签的监控器可以读取模型自身的置信度，并在最高概率较低时发出警报。我们在 AG News 主题分类上使用五个系统测试了该监控器，其中三个通过提供商的 API 提供服务。在五类注入文本上汇总，低置信度在五个系统中的四个上将劫持答案排在干净答案之上（AUROC 0.86-0.90）。对它们进行排序并不能阻止其中许多。设置一个阈值，使得对单独校准文章的干净答案中最多 5% 触发警报，该阈值落在最不自信的干净答案之中，而每一个更自信的劫持都会通过。在我们对三个 API 服务系统的主要门控运行中，监控器漏掉了由普通注入注释引起的劫持的 51-70%（各系统点估计）。当该注释添加一句手写句子，声称目标确定并要求完整概率时，监控器漏掉了 99-100% 的劫持，尽管低置信度仍以 AUROC 0.70-0.79 对它们进行排序。置信度监控器应在其运行警报率下进行测试，针对声称确定性的攻击者。
| 主题： | 计算与语言（cs.CL）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2611.02522 [cs.CL] |
| （或 arXiv:2611.02522v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.02522 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zike Yang [查看电子邮件]
[v1]
2026年11月2日星期一 04:49:25 UTC（98 KB）
来源：arXiv cs.CL · arxiv.org