arXiv cs.AI· Leonhard Waibl, Felix Michalak, Hadrien Mariaccia·· 1 天前AI 评分58
BELLS-O：评估 LLM 监督系统的运营权衡
BELLS-O: Evaluating the Operational Trade-offs of LLM Supervision Systems
AI 导读
BELLS-O 是独立运营基准，评估来自 17 家开发者的 33 个系统，包括 Llama Guard 4、ShieldGemma-2B、Lakera Guard 等专用护栏，以及 GPT-5.4、Claude Sonnet 4.6、Grok 4.1 Fast 等被用作监督者的前沿通用模型，并同时比较检测率、误报率、延迟和成本。
正文 · AI 翻译
摘要：LLM 监督系统，即输入/输出审核过滤器和越狱检测器，是已部署 AI 应用中防止滥用的主要保障，然而现有基准往往存在厂商偏向、忽略成本与延迟，且很少将专用护栏与改造后的通用 LLM 进行对比。我们提出 BELLS-O（LLM 监督系统评估基准，运营版），这是一个独立的运营基准，评估来自 17 家开发者的 33 个系统：专用护栏（如 Llama Guard 4、ShieldGemma-2B、Lakera Guard）和被改造为监督者的前沿通用模型（如 GPT-5.4、Claude Sonnet 4.6、Grok 4.1 Fast），在检测率、误报率、延迟和成本上联合评估。我们覆盖 11 个危害类别的输入/输出审核、13 种攻击技术的越狱检测以及提示注入检测，使用由手工构造提示、精选外部样本和质量受控的合成生成构建的内部数据集，其中合成审核样本经过改写以抑制生成器指纹。内容审核运行重复五次，所有比率均报告 95% 区间。帕累托前沿揭示了依赖用例的权衡。在内容审核上，专用监督系统在运营上领先：顶级系统在低误报率下在检测上（93-96%，无显著差异）与最佳通用 LLM 相当，同时运行速度约快 5 倍；成本更多取决于服务配置而非类别。在越狱检测上，通用 LLM 在四个数据集中的三个上取得更高的中位检测率且误报率更低，但延迟更高，且对于闭源前沿模型，成本高 10-100 倍。在提示注入上，两个最佳专用检测器领先。我们发布该框架、一个交互式排行榜和四个数据集，作为在部署约束下选择保障措施的厂商中立基础。
| 评论： | 已被 NeurIPS 2026 接收（评估与数据集方向）。此前在 ICML 2026 可信 AI 公益研讨会（AI4GOOD）上展示。60 页，6 幅图；10 页正文加附录 |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.20668 [cs.CR] |
| （或 arXiv:2606.20668v2 [cs.CR] 为此版本） | |
| https://doi.org/10.48550/arXiv.2606.20668 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hadrien Mariaccia [查看邮箱]
[v1]
2026 年 6 月 12 日星期五 07:25:12 UTC（690 KB）
[v2]
2026 年 11 月 12 日星期四 09:59:32 UTC（272 KB）
来源：arXiv cs.AI · arxiv.org