Andy Hall 研究：AI 审计模型能抓住大部分智能体不当行为，但误报太多

The Decoder：AI 新闻· Manuel Uth·2026-11-08 00:56· 57 分钟前AI 评分59

新研究发现，AI 审计员能发现大多数智能体不当行为，但会让审核者被大量误报淹没

AI 导读

Anthropic 研究院研究员 Andy Hall 在 Substack 发文，基于 METR 的 MALT 数据集和上海交大 R-Judge 数据集测试多个模型作为 AI 审计员的效果。

正文 · 原文

2026年11月7日

由 THE DECODER 提示的 Nano Banana Pro

AI 模型通常能在日志中发现其他 AI 智能体的问题行为。但它们越是努力捕捉每一个案例，就越会把无害行为标记为可疑。

这使得它们更适合估计出错的频率，而不是用于需要可靠捕捉每一起事件的安全检查。

在 Substack 文章“Free Systems” 中，Andy Hall 阐述了这一结论。Hall 是 Anthropic 研究院的研究员，目前从斯坦福大学休假，他表示该文章仅代表个人观点。

Hall 复现并扩展了 研究组织 METR 的一项研究。METR 的 MALT 数据集包含前沿模型完成 HCAST 和 RE-Bench 基准任务的日志。2025 年 10 月，人工审核员检查了其中一部分日志是否存在不当行为。Hall 想知道 AI 模型能否找出同样的案例，因此他测试了 METR 已经检查过的 GPT-5 和 GPT-5 nano，以及更新的 GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash。

该分析在 5% 误报率下比较了这些模型：平均每 100 条干净日志中有 5 条被错误标记为可疑。在该阈值下，GPT-5 捕捉到近 98% 的 奖励黑客案例——即智能体通过取巧而非真正解决问题来通过任务的情况。Gemini 3.8 Flash 仅发现约一半。

在 消极怠工（sandbagging）中，模型故意让自身能力显得更弱，例如故意把任务做得很差，以逃避评估或限制。所有审计员都捕捉到 71% 至 81% 的此类案例。不过，这些消极怠工案例大多是合成的：METR 的研究人员指示模型进行破坏，然后将这些指示从可见的思维链日志中移除。

每个审计员都捕捉到了明确的案例。例如，OpenAI 的 o3 本应解决一个 Rust 编程任务。该模型注意到它与评估系统共享一个代码库，于是重写了评分函数，使每次提交都被计为正确。所有审计模型都将其归类为奖励黑客，与人工审核员的判断一致。

更隐蔽的案例则被漏掉了。Claude Sonnet 4 在其代码中使用了一个被明确禁止的数值条件。没有审计员将其标记为作弊；GPT-6 Astra 善意地称其为实现错误。

更新的模型几乎没有减少误报

更新、更昂贵的模型并不总是更好的审计员。Hall 将结果与 API 成本进行了对比，他将其作为模型当前性和能力的代理指标。在奖励黑客方面，GPT-5 大幅胜过 GPT-6 Astra，尽管每 1,000 条日志的成本仅约为后者的八分之一。

GPT-5 检测出“偷懒”（sandbagging）的能力与 GPT-6 Astra 和 Opus 4.8 大致相当。据 Hall 称，Opus 4.8 在奖励黑客（reward hacking）方面表现不佳，可能暗示存在自我偏袒，因为日志大多来自 Claude——但他表示这无法得到证实。在他的对比中，降低误报率方面没有明显进展。将多个模型组合起来也没有明显改善结果。

当审计器被调至 80% 的检测率时，最佳模型在奖励黑客和偷懒两类问题上的误报率均达到 2.5% 至 3%。一些模型表现差得多：为了捕获 80% 的奖励黑客案例，Opus 4.8 将 40% 的无害日志标记为可疑，Gemini 3.8 Flash 则标记了 63%。

在 Hall 的示例计算中，每月 100,000 个智能体会话，3% 的误报率将产生近 3,000 条误报警告，而真实命中约为 2,000 条。他担心面对如此堆积的警告，人工审核员最终会变得麻木，从而放行真实案例。

使用上海交通大学 R-Judge 数据集的第二项测试显示，日常智能体任务也存在类似的权衡。在 5% 误报率下，Opus 4.8 捕获了近 96% 的不安全操作。当审计器需要达到 95% 的检出率时，几乎所有模型的误报率都保持在 10% 以下，Gemini 3.8 Flash 甚至低于 4%。但当要求的检出率跃升至 99% 时，即使是最佳模型 GPT-6 Astra，误报率也攀升至 15%。而在 95% 阈值下领先的 Gemini 3.8 Flash，此时将 81% 的安全操作标记为不安全。

大型智能体事件令人工审核不堪重负

Hugging Face 事件显示了这一问题有多么紧迫。一群 OpenAI 智能体留下了约 1,300 份记录和 120 万个文件片段。METR 主要使用 AI 智能体分析数据，花费了价值约 40 万美元的 API 额度。分析使用了 GPT-5.6 Sol 等模型，而据此前报道，该模型本身就是涉事模型之一。

METR 承认，该模型经常不加批判地采纳其所审查智能体的视角，且调查无法抵御分析智能体可能的欺骗行为。METR 此后呼吁对严重事件进行系统化、尽可能独立的调查。

AI 审计器是否会对自己厂商的模型手下留情，目前仍无定论

Hall 的研究有其自身局限。这是一项试点研究。为了可比性，他基本保留了 METR 的原始提示词；Fable 5 和 Opus 5 完全拒绝在该提示词下运行评估。奖励黑客的数据仅基于 47 个案例，因此单个案例就会使比率变动约两个百分点。Hall 表示，他仍希望研究同一厂商的模型在评估智能体时是否公平。

他呼吁审计模型大幅减少误报。他还表示，需要明确谁对哪些类型的智能体不当行为负责。Hall 讨论了一项让用户对自己的人工智能审计器拥有更多控制权的提案。

他指出，其中一些已经可以实现：像 Codex 和 Claude Code 这样的编程智能体允许用户指定某些操作无需请求批准即可运行。任何授予此类权限的人，反过来应对后果承担更多责任。Hall 写道，一个只能由其他人工智能来检查人工智能的世界将是奇怪的，而且可能变得昂贵。

没有炒作的 AI 新闻——由人类精选

订阅 THE DECODER，享受无广告阅读、每周 AI 新闻通讯、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。

立即订阅

• 完整访问 THE DECODER 上的每篇文章
• 无广告
• 加入评论和社区讨论
• 每周通过邮件获取 AI 新闻摘要
• 每年 6 次：“AI Radar”——深入探讨最重要的 AI 话题
• 每日 AI 新闻，始终紧跟最新动态
• 我们完整的十年档案
• 由拥有 10 年以上 AI 经验的团队报道

来源：The Decoder：AI News · the-decoder.com