arXiv cs.AI· Mintong Kang, Stephen Rawls, Melissa Kazemi Rad, Jian Ni, Bo Li·· 2 天前AI 评分34
目标智能体自我批评更有效但不宜自我提议：角色分离的红队测试方法
The Target Agent Is Its Own Best Critic but a Poor Proposer: Self-Improved Red Teaming
AI 导读
研究将自动红队测试中的批评与攻击提议两个角色解耦后发现，由目标会话自我批评更有效，因为其基于目标实时执行上下文，移除推理会使下游攻击成功率下降 6%-17%；而自我提议因目标意识到对抗目标而出现拒绝与非拒绝式偷懒，效果明显更差。
正文 · AI 翻译
摘要：自动红队测试日益依赖大语言模型（LLM）来迭代诊断失败的攻击，并提出改进的对抗性提示或注入。尽管先前的工作通过提示工程和搜索框架设计强化了这一循环，但其两个核心角色——批评与攻击提议——背后的机制尚未被探索。为进一步研究这些核心角色并由此提升红队测试的有效性，我们拆解了两个设计选择：批评是由目标会话自身生成（自我批评），还是由单独实例化的批评者生成（外部批评）；以及该批评是由目标会话转化为下一次攻击（自我提议），还是由单独的攻击者转化（外部提议）。通过分析，我们发现自我批评更有效，因为它植根于目标的实时执行上下文，包括观察、约束和可用的推理；移除推理会使下游攻击成功率降低 6%-17%。相比之下，自我提议的效果显著更差，因为对对抗目标的感知会引发明确的拒绝以及不拒绝式的消极应付。这些发现促成了一种角色分离的红队测试方法：目标会话诊断攻击失败的原因，而单独实例化的攻击者生成下一次提议。在涵盖电信、工作流、CRM 和代码领域的 DTAP-BENCH 上，在直接滥用和间接威胁模型下，以及多种智能体框架下，该配置实现了 63.2% 的总体攻击成功率（ASR），远高于基线。我们的结果表明，有效的自动红队测试不仅取决于模型能力和搜索策略，还取决于执行上下文和对抗责任如何在模型会话之间分配。
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.34965 [cs.CR] |
| （或 arXiv:2610.34965v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34965 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mintong Kang [查看电子邮件]
[v1]
2026年10月26日星期一 07:34:02 UTC（516 KB）
来源：arXiv cs.AI · arxiv.org