Arena 基于 20,869 条记录分析前沿编码模型与普通 Agent 的投诉差异

Arena.ai· @arena · X·2026-10-28 23:28· 12 分钟前AI 评分54

AI 导读

Arena 基于 20,869 条 Agent Arena: Code 记录，对比五个前沿模型（来自 Anthropic 与 OpenAI）与其他 Agent 的用户投诉分布。

正文 · 原文

用户究竟在哪些地方能真切感受到前沿编程 Agent 的差异？

基于 20,869 条 Agent Arena 记录，我们对比了用户对五个顶级模型（均来自 @AnthropicAI 与 @OpenAI）在 Agent Arena: Code 上的批评，以及他们对其他 Agent 的批评。

以下是前沿模型带来最大差异的三个领域：

1. 更少卡住：在包含投诉的会话中，失败的修复循环出现频率低 6.9 个百分点，项目上下文被忽略的情况也更少（-1.9 个百分点）。你花更少时间把 Agent 从死胡同里引导出来。

2. 更好的品味和能用的代码：它们在设计上表现更好（-6.4 个百分点），在产出可用结果上也更好（-5.8 个百分点）。你拿回来的东西更可能是你想要的。

3. 更勤勉：它们更好地遵循指令（-5.6 个百分点），更经常完成工作（-4.9 个百分点），更少破坏已有工作（-4.5 个百分点）。事后需要清理的东西更少。

想深入了解 Agent Arena 的赞扬与投诉信号？请见下方线程中的文章。

来源：Arena.ai · x.com