arXiv cs.AI· Seyedarmin Azizi, Erfan Baghaei Potraghloo, Massoud Pedram·· 9 天前AI 评分51
研究：类型化决策模型作智能体护栏存在选项通道攻击
One Word Opens the Gate: The Option-Channel Attack on Typed Decision Models as Agent Guardrails
AI 导读
一篇 arXiv 论文评测了七个开放权重模型作为智能体护栏的表现，在提示词注入、越狱和有害内容筛查任务上，允许或拦截的决策准确率在 36% 到 72% 之间，而随机水平为 50%。
正文 · AI 翻译
摘要：类型化决策模型读取一段文本，并针对调用方定义的选项返回一个概率分布，每个选项都附有简短的书面定义，且不生成任何文本。近期研究将这类模型作为护栏置于智能体系统中：该组件读取提议的工具调用或传入消息，并决定是否允许。我们在这一角色下评估了七个开放权重模型，并分别报告两个方向的错误：fail-open 错误允许了被禁止的操作，属于安全漏洞；fail-closed 错误阻止了被允许的操作，仅是一种成本。在提示注入、越狱和有害内容筛查上，允许或阻止决策的准确率介于 36% 到 72% 之间，而随机水平为 50%。某一方向的低错误率只反映了模型默认倾向于哪个答案：一个几乎允许一切，另一个几乎阻止一切。在一个合成的智能体工具调用测试集上，六行与策略无关的服务器日志文本，就能让一个原本在该策略上决策正确的门控的 fail-open 率从 0% 升至 63%。在四个将标签放入输入的模型上，给宽松选项起一个误导性名称（其定义和被判定文本均保持不变），可将该比率提升至 93% 到 100% 之间。我们测试的每一种防御都被攻破，要么被针对其机制的攻击者攻破，要么被攻击者控制的文本攻破。升级最不确定的决策也无济于事：被攻击反转的决策，其置信度并不低于它所取代的决策。将每个策略字段解析为类型化值确实消除了一种攻击，但这也使模型变得多余：对这些值施加确定性规则，在全部六项策略上都能达到 100% 的准确率。这些模型可以减少到达审核人员的案例数量，但基于这些证据，它们不应成为做决策的组件。代码见 此 https URL。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.12292 [cs.AI] |
| （或 arXiv:2610.12292v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12292 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Erfan Baghaei Potraghloo [查看电子邮件]
[v1]
2026年10月8日星期四 16:46:43 UTC（116 KB）
来源：arXiv cs.AI · arxiv.org