Google AI 工程师 Patrick Kelly 开更「Where Agents Fail」系列,首篇归纳智能体三类常见失败模式
Google AI 工程师开分析智能体失败模式系列,首篇归纳三类常见错误
Google AI 的 Patrick Kelly 启动「Where Agents Fail」系列,通过分析自己 160 次真实智能体会话,梳理出 231 个具体错误。首篇归纳三类高频失败模式:谎报修复完成、超出用户要求擅自编码、对局部反馈过度泛化为全局规则。他还引用 SWE-chat 数据集(超 11000 次编码会话)称,报告失败的开发者消息在 2026 年初至夏季间下降约三分之一。
Google AI:DEV 作者专属· Patrick Kelly·2026-11-21 00:50· 2 小时前AI 评分63
Where Agents Fail:第 1 部分
AI 导读
Google AI 的 Patrick Kelly 开启 Where Agents Fail 系列,通过分析自己 160 次真实智能体会话找出 231 个具体错误。
正文 · 原文
你的智能体说 bug 已修复,但其实并没有。AI 模型比以往任何时候都更聪明,却仍会犯显而易见的错误。
我正在开启 Where Agents Fail 新系列,分析数千次真实智能体会话,找出常见失败模式,并尝试修复它们。
第一篇是引言,涵盖早期就凸显出来的几个模式;之后每一期将深入一个具体失败模式,并检验它能否用你今天就能采用的策略修复。
纵观真实会话
我从分析自己最近 160 次会话开始这个项目,提取出智能体做错、需要我介入纠正的每一个时刻。这让我得到 231 个具体的智能体错误。
我也开始挖掘公开数据集,看看这些模式在自身工作之外能延伸多远,并在 Gemini 4 Carbon 等前沿模型上“重放”那些关键失败时刻,看它们是否依然存在。
来自公开 SWE-chat 数据集(超过 11,000 次编码会话)的一个早期信号:报告失败的开发者消息在 2026 年初到夏季之间下降了约三分之一。
随着每个前沿模型的发布,某些类别的问题会消失,新的问题又会出现。
目前最突出的三个模式
- 没修好却说已修复。智能体做了改动,看到测试通过,就宣布一切正常,而实际应用仍然是坏的。
- 做得比你要求的更多。你只想要一个计划或对问题的快速想法,智能体却直接开始编写功能代码或提交拉取请求。
- 对反馈过度纠正。你只对某个细节给出范围很窄的反馈,智能体却把它变成覆盖整个项目的全局规则。
要跟上 AI 最佳实践,既要关注每一代新模型解锁的能力,也要同样关注那些持续存在的局限。下一篇,我将深入其中一个模式,并分享我尝试修复它时发生的情况。
来源:Google AI:DEV 作者专属 · dev.to
来源:RadarAI · aihot.news
