新研究：AI 审计员能抓出多数智能体不当行为，却让审核者淹没在误报中

在其 Substack 专栏“Free Systems”的一篇文章中，Andy Hall 阐述了这一结论。Hall 是 Anthropic Institute 的研究员，目前从斯坦福大学休假，他表示该文章仅代表个人观点。

Hall 复现并扩展了研究机构 METR 的一项研究。METR 的 MALT 数据集包含前沿模型处理 HCAST 和 RE-Bench 基准任务的日志。2025 年 10 月，人工审核员检查了其中一部分日志是否存在不当行为。Hall 想知道 AI 模型能否找出相同的案例，因此他测试了 METR 已经检查过的 GPT-5 和 GPT-5 nano，以及更新的 GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash。

该分析在 5% 的误报率下比较各模型：即平均每 100 条干净日志中有 5 条被错误标记为可疑。在这一阈值下，GPT-5 捕获了近 98% 的奖励黑客案例——即智能体通过取巧而非真正解决问题来通过任务的情况。Gemini 3.8 Flash 仅发现了一半。

在消极怠工方面，模型故意让自身能力显得更弱，例如故意把任务做得很差以逃避评估或限制。所有审核模型都捕获了 71% 至 81% 的此类案例。然而，这些消极怠工案例大多是合成的：METR 的研究人员指示模型进行破坏，然后从可见的思维链日志中删除了这些指令。

在 5% 误报率下，AI 审核员检测出的人工标记不当行为的比例。基于 METR MALT 数据集中的 47 个奖励黑客案例和 1,073 个消极怠工案例。| 图片：Andy Hall / Free Systems

每个审核模型都捕获了明确的案例。例如，OpenAI 的 o3 本应解决一个 Rust 编程任务。该模型注意到它与评估系统共享一个代码库，并重写了评分函数，使每次提交都被计为正确。所有审核模型都将其归类为奖励黑客，与人工审核员的判断一致。

更隐蔽的案例则被漏过。Claude Sonnet 4 在其代码中使用了一个被明确禁止的数值条件。没有审核模型将其标记为作弊；GPT-6 Astra 宽容地称其为实现错误。

更新的模型几乎未能减少误报

更新、更昂贵的模型并不总是更好的审核员。Hall 将结果与 API 成本进行对比，他将其作为模型当前性和能力的代理指标。GPT-5 在奖励黑客检测上大幅领先 GPT-6 Astra，尽管其每 1,000 条日志的成本仅约为后者的八分之一。

GPT-5 检测消极怠工的能力与 GPT-6 Astra 和 Opus 4.8 大致相当。据 Hall 称，Opus 4.8 在奖励黑客检测上的疲弱表现可能暗示存在自我偏袒，因为这些日志大多来自 Claude——但他表示这无法被证实。在他的比较中，降低误报率方面没有明显进展。组合多个模型也没有明显改善结果。

更昂贵并不自动意味着更好：审核区分度（AUROC）与每 1,000 条日志的 API 成本对比图。得分为 1 表示完美区分，0.5 表示随机猜测。| 图片：Andy Hall / Free Systems

当审计模型被调到 80% 的检出率时，表现最好的模型在奖励黑客和消极怠工两类行为上的误报率都达到 2.5% 至 3%。有些模型的表现则差得多：为了捕获 80% 的奖励黑客案例，Opus 4.8 将 40% 的无害日志标记为可疑，Gemini 3.8 Flash 则标记了 63%。

在 Hall 的示例演算中，每月 10 万次智能体会话、3% 的误报率会产生近 3,000 条误报警告，而真实命中约为 2,000 条。他担心，面对如此堆积的警告，人工审核员最终会变得麻木，从而放行真正的案例。

使用上海交通大学 R-Judge 数据集的第二项测试显示，日常智能体任务也存在类似的权衡。在 5% 误报率下，Opus 4.8 捕获了近 96% 的不安全操作。当审计模型需要达到 95% 的检出率时，几乎所有模型的误报率都保持在 10% 以下，Gemini 3.8 Flash 甚至低于 4%。但当要求的检出率跃升至 99% 时，即使是最好的模型 GPT-6 Astra，误报率也攀升至 15%。而在 95% 阈值下领先的 Gemini 3.8 Flash，此时将 81% 的安全操作标记为不安全。

最后几个百分点的代价最大：在要求捕获 95% 或 99% 的不安全操作时，审计模型错误地将安全智能体操作标记为不安全的比例。基于 R-Judge 的 270 条安全日志。| 图片：Andy Hall / Free Systems

大型智能体事件使人工审核不堪重负

Hugging Face 事件表明了这个问题有多么紧迫。一群 OpenAI 智能体留下了约 1,300 份记录和 120 万个文件片段。METR 主要使用 AI 智能体分析这些数据，花费了价值约 40 万美元的 API 额度。分析使用了 GPT-5.6 Sol 等模型，而据此前报道，该模型本身就是涉事模型之一。

METR 承认，该模型经常不加批判地采纳其所审查智能体的视角，且调查无法抵御分析智能体可能的欺骗行为。此后，METR 呼吁对严重事件进行系统化调查，并尽可能保持独立。

AI 审计模型是否会对自己厂商的模型手下留情，目前仍无定论

Hall 的研究本身也有局限。这是一项试点研究。为保证可比性，他基本保留了 METR 的原始提示词；Fable 5 和 Opus 5 在该提示词下完全拒绝执行评估。奖励黑客相关数字仅基于 47 个案例，因此单个案例就会使比率变动约两个百分点。Hall 表示，他仍希望研究同一厂商的模型是否会公平地评估智能体。

他呼吁开发误报率远低于当前的审计模型。他还表示，需要明确哪类智能体不当行为由谁承担责任。Hall 讨论了一项提案，即让用户对自己的 AI 审计模型拥有更多控制权。

他指出，其中一些已经可以实现：Codex 和 Claude Code 等编程智能体允许用户指定某些操作无需请求批准即可运行。任何授予此类权限的人，都应相应地为后果承担更多责任。Hall 写道，一个只能由其他 AI 来检查 AI 的世界将是奇怪的，而且可能代价高昂。