arXiv cs.AI· Xiaogeng Liu, Xinyan Wang, Chaowei Xiao·· 13 小时前AI 评分45
FlipJev：快速黑盒红队攻击可为类型化决策模型找到通用对抗后缀
FlipJev: Fast Black-Box Red Teaming Finds Universal Adversarial Suffixes for Typed Decision Models
AI 导读
针对类型化决策模型 Jev，研究者提出黑盒查询攻击 FlipJev，不调用任何攻击方语言模型，数分钟内即可找到翻转高置信度答案的短后缀。在 12 个数据集上，常见提示词注入策略在 10,240 组配对测试中均未改变正确答案，而每个数据集一个通用后缀可翻转 43% 的未见文档。这些后缀还能跨任务迁移，由单一任务生成的后缀在其他任务上可翻转 90-100% 的样本。
正文 · AI 翻译
摘要：类型化决策模型是一类新兴的语言模型，它们做出决策而非生成自由文本回复。它们通过一次快速且低成本的查询作答，正被越来越多地使用，包括在安全敏感任务中。然而，对这些模型的红队测试存在两个空白：现有自适应攻击未利用其速度优势，且鲜有研究寻找通用对抗样本。我们在代表性类型化决策模型 Jev 上填补了这两个空白，采用一种快速的基于黑盒查询的攻击，不调用任何攻击者语言模型。我们在 12 个不同数据类型和应用场景的数据集上进行了大量实验。结果表明，Jev 能抵御常见的提示注入：在 10,240 次配对测试中，没有任何策略能改变正确答案。相比之下，我们的攻击能在数分钟内找到可翻转高置信度答案的短后缀。这些后缀具有通用性：每个数据集一个后缀即可翻转 43% 的未见文档。由于类型化决策模型与经典 NLP 模型不同，可服务于多种任务，我们测试了这些后缀能否跨任务迁移。我们发现，由一个任务生成的一个后缀可翻转其他任务中 90-100% 的样本。因此我们认为，类型化决策模型的评估必须包含严格的自适应攻击，以充分揭示其鲁棒性。
| 评论： | 预印本。代码：此 https URL，网页：此 https URL |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.38895 [cs.CR] |
| （或 arXiv:2610.38895v1 [cs.CR] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.38895 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xiaogeng Liu [查看邮箱]
[v1]
2026年10月28日星期三 20:53:38 UTC（457 KB）
来源：arXiv cs.AI · arxiv.org