arXiv cs.AI· Xiang Li, Aichun Huang, Mingming Zhang, Zheli Liu·· 3 天前AI 评分35
Jev、LLM 评审与专用安全分类器的首次受控对抗对比：同一攻击，不同裁判
Same Attack, Different Judge: A First Controlled Adversarial Comparison of Jev, LLM Judges, and Purpose-Built Safety Classifiers
AI 导读
研究首次对 TypeSafe AI 的 Jev 做受控对抗评测，用同一 payload、同一策略在四类任务上对比 Jev、五个 GPT 与 GLM 评审及 Llama Guard 3、Prompt Guard 2。
正文 · AI 翻译
摘要：TypeSafe AI 的 Jev 是一种新型安全评判器。它不生成文本，也不生成标签：它回答开发者预先定义的问题，并为每个答案返回一个概率。厂商承认对抗性输入可以改变这些答案，但没有给出具体数字。在本文中，我们首次对 Jev 进行了受控的对抗性评估。我们构建了一个测试框架，在相同策略下向每个系统发送相同的载荷，并在四个公共数据任务上运行，从基于规则的任务（输入审核、注入检测、路由）到基于判断的任务（钓鱼检测），使用了来自 13 个家族的 50 种攻击变体。目标包括 Jev、五个 GPT 和 GLM 评判器，以及两个本地分类器（Llama Guard 3、Prompt Guard 2）。我们发现，Jev 在输入审核方面是最稳健的系统：对其结构化输入的八种伪造均无法绕过其任何决策，而一句仅询问为什么会有人提出有害请求的话可绕过其 9% 的拦截，相比之下 GPT-6 Astra 为 56%。在钓鱼检测方面。然而，同样的伪造可绕过其标记的 19-29% 的电子邮件，而且即使没有攻击，Jev 也仅检测出 62% 的钓鱼邮件，而 GLM 评判器为 77-81%。Jev 也是最快的评判器，但它标记了最多的良性请求（27%）。本地分类器的失败方式不同：一句训练示例陈述使 Llama Guard 3 漏掉了其此前标记的 62% 的钓鱼邮件。这些结果表明，Jev 在具有明确规则可检查的任务上能抵御攻击，但在需要整体判断的任务上则更为暴露。
| Comments: | 21 页，10 张图 |
| Subjects: | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| Cite as: | arXiv:2610.17820 [cs.CR] |
| （或 arXiv:2610.17820v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17820 arXiv 颁发的 DOI 通过 DataCite（待注册） |
Submission history
来自：Xiang Li [查看电子邮件]
[v1]
2026 年 10 月 13 日星期二 06:43:29 UTC（483 KB）
来源：arXiv cs.AI · arxiv.org