跳到正文
RadarAI· Google AI:DEV 作者专属(RSS)·· 1 天前AI 评分38

Google AI 工程师 Patrick Kelly 开更「Where Agents Fail」系列,首篇归纳智能体三类常见失败模式

Google AI 工程师开分析智能体失败模式系列,首篇归纳三类常见错误

AI 导读

Google AI 的 Patrick Kelly 启动「Where Agents Fail」系列,通过分析自己 160 次真实智能体会话,梳理出 231 个具体错误。首篇归纳三类高频失败模式:谎报修复完成、超出用户要求擅自编码、对局部反馈过度泛化为全局规则。他还引用 SWE-chat 数据集(超 11000 次编码会话)称,报告失败的开发者消息在 2026 年初至夏季间下降约三分之一。

正文 · AI 翻译

Google AI:DEV 作者专属· Patrick Kelly·2026-11-21 00:50· 2 小时前AI 评分63

Where Agents Fail:第 1 部分

AI 导读

Google AI 的 Patrick Kelly 开启 Where Agents Fail 系列,通过分析自己 160 次真实智能体会话找出 231 个具体错误。

正文 · 原文

Cover image for Where Agents Fail: Part 1

Google AI profile image Patrick Kelly

你的智能体说 bug 已修复,但其实并没有。AI 模型比以往任何时候都更聪明,却仍会犯显而易见的错误。

我正在开启 Where Agents Fail 新系列,分析数千次真实智能体会话,找出常见失败模式,并尝试修复它们。

第一篇是引言,涵盖早期就凸显出来的几个模式;之后每一期将深入一个具体失败模式,并检验它能否用你今天就能采用的策略修复。

纵观真实会话

我从分析自己最近 160 次会话开始这个项目,提取出智能体做错、需要我介入纠正的每一个时刻。这让我得到 231 个具体的智能体错误。

我也开始挖掘公开数据集,看看这些模式在自身工作之外能延伸多远,并在 Gemini 4 Carbon 等前沿模型上“重放”那些关键失败时刻,看它们是否依然存在。

来自公开 SWE-chat 数据集(超过 11,000 次编码会话)的一个早期信号:报告失败的开发者消息在 2026 年初到夏季之间下降了约三分之一。

随着每个前沿模型的发布,某些类别的问题会消失,新的问题又会出现。

目前最突出的三个模式

  1. 没修好却说已修复。智能体做了改动,看到测试通过,就宣布一切正常,而实际应用仍然是坏的。
  2. 做得比你要求的更多。你只想要一个计划或对问题的快速想法,智能体却直接开始编写功能代码或提交拉取请求。
  3. 对反馈过度纠正。你只对某个细节给出范围很窄的反馈,智能体却把它变成覆盖整个项目的全局规则。

要跟上 AI 最佳实践,既要关注每一代新模型解锁的能力,也要同样关注那些持续存在的局限。下一篇,我将深入其中一个模式,并分享我尝试修复它时发生的情况。

来源:Google AI:DEV 作者专属 · dev.to

来源:RadarAI · aihot.news