arXiv cs.AI· Aniruddh Pramod, James Oldfield, Adel Bibi·· 10 天前AI 评分41
面向统一滥用监控基准的研究
Towards a Unified Misuse Monitoring Benchmark
AI 导读
研究者提出统一的 trace 级滥用监控形式化方法，并构建了约 6,200 条用户、LLM 智能体与环境对话记录的基准，覆盖分解攻击和提示注入攻击两类威胁，并标注危害窗口与良性对照。在 17 种监控配置中，动作框架监控在两类威胁上 AUC 分别达 0.95 和 0.99，而内容框架监控在注入攻击上降至 0.52；经典位置无关指标则高估了监控性能。
正文 · AI 翻译
摘要：LLM 智能体越来越多地在多主体环境中行动，使其面临来自多个来源的滥用：分解攻击，即将一个有害请求拆分为多个无害的子请求；以及提示注入攻击，即被攻陷的工具传递恶意指令。现有评估将这些威胁分开处理，并询问某条轨迹是否有害，而非它何时变得有害。我们提出监控智能体的响应，即其行动被外化的位置，并询问监控器识别出危害的第一个点是否落在危害窗口内（从智能体的首次有害承诺到目标执行）。我们为轨迹级滥用监控开发了一个统一形式化框架，并用它构建了一个包含约 6,200 条用户、LLM 智能体与外部环境之间对话记录的基准，在共享模式中涵盖这两种威胁，并带有标注的危害窗口、相应的良性对照，以及针对这些请求的匹配拒绝实例。在 17 种监控器配置中，我们发现我们提出的行动框架监控器在经典指标下对两种威胁均表现良好（AUC：分别为 0.95 和 0.99），而内容框架监控器在注入攻击上崩溃（AUC：0.52）。我们还表明，经典的位置盲指标对监控器性能给出了乐观图景，因为在区间指标下所有监控器对分解攻击的定位都很差，而该指标衡量的是定位危害的能力。总体而言，我们说明了需要对滥用监控进行统一研究的必要性。
| Comments: | 50 页，13 幅图，17 张表，代码：this https URL |
| Subjects: | 密码学与安全（cs.CR）；人工智能（cs.AI）；机器学习（cs.LG） |
| Cite as: | arXiv:2610.07089 [cs.CR] |
| （或 arXiv:2610.07089v1 [cs.CR] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2610.07089 arXiv 通过 DataCite 颁发的 DOI（待注册） |
Submission history
From: Aniruddh Pramod [view email]
[v1]
Mon, 5 Oct 2026 12:57:03 UTC (986 KB)
来源：arXiv cs.AI · arxiv.org