Taste-Bench 基准揭示 AI 智能体长期决策能力薄弱，最佳模型仅得 59.7%

The Decoder：AI 新闻· Jonathan Kemper·2026-10-18 16:49· 1 小时前AI 评分59

AI 智能体在长期决策上品味不佳，一项新基准证明了这一点

AI 导读

新基准 Taste-Bench 通过 502 个决策分叉问题测量智能体在编码和 AI 研究任务中的长期决策品味，测试了来自 Claude、GPT、Grok、DeepSeek、GLM、MiniMax 和 Mistral 家族的 14 个模型。

正文 · 原文

论文作者将做出这些良好选择的能力称为智能体的“品味”。现有基准只衡量智能体是否完成任务，而不衡量其过程中各步骤的质量。Taste-Bench 旨在填补这一空白。

长期决策无法在当下评判

你无法立刻评判一个长期选择。干净利落的实现和草率马虎的实现起初可能产生相同的输出，也可能通过相同的测试。只有到后续修改变得更容易时，干净的做法才体现出价值。人工评分成本高昂、需要深厚的领域专业知识，且无法规模化。

因此研究人员依赖事后回溯。轨迹的后续路径——即智能体运行过程的记录，包含其所有步骤和观察结果——能显示早先的选择是否奏效。在实践中，智能体系统会多次尝试同一任务。这些尝试最终会分岔到不同方向。

由于每次尝试的最终结果揭示了更好的路径，这些运行本身提供了带标签的对比。作者将这一分岔点称为“决策分叉”。为了测量品味，他们在分叉处冻结运行，隐藏所有后续工作，让模型在两条路径之间做出选择。

Diagram of a decision fork during masked language model training. Option A, "reduce model size, train more steps," ends at a loss of 6.56. Option B, "keep model size, train fewer steps," ends at a loss of 7.66. — 在决策分叉处，模型必须在后续轨迹揭示哪条更优之前，在两个方向之间做出选择。| 图片：Pan 等

过往错误揭示智能体出错之处

Taste-Bench 包含 502 个问题，每个问题都包含原始任务、截至分叉处的轨迹以及两个可能的方向。第一类来自对同一任务的两次独立尝试出现分歧，其中智能体从未看到错误路径。

第二类来自智能体在单次运行中自我纠正并走了弯路。在这里，最初被放弃的方向和后来成功的方向构成两个候选。这一变体测试模型能否比执行智能体更早发现错误。

原始数据来自数千次在编码和 AI 研究任务上评分过的智能体运行，包括 SWE-bench Pro 和 METR 公开转录发布 MALT。一个生成器模型筛选出合适的分叉，剔除答案显而易见的琐碎问题，并移除无法判定的案例。人工审核确认了几乎所有自动生成的标签。

即便顶级模型也仅略胜于抛硬币

团队测试了来自 Claude、GPT、Grok、DeepSeek、GLM、MiniMax 和 Mistral 家族的 14 个当前模型。每个问题被提问两次，一次按正常顺序，一次翻转选项。只有模型两次都答对，该问题才计入。纯猜测在此得分为 25%。

测试中表现最好的模型 GPT-5.6 Sol 平均得分 59.7%，紧随其后的是 GPT-5.5，为 59.5%。所有其他模型得分远低于此。尽管每个问题都只是二选一，没有一个模型接近解决该基准。弯路分叉始终比并行分叉更难。

Three bar charts show the accuracy of 14 models on Taste-Bench across average, research, and engineering splits. GPT-5.6 Sol leads overall with 59.7 percent, followed by GPT-5.5 and Claude Opus 5. — 在这些二元决策问题上，即便最好的模型也仅在大约 60% 的情况下选对更优方向。| 图片：Pan 等

当证据只在事后出现时，模型便崩溃了

对于每个分叉点，团队检查了观察者需要向前看多远，才能看清更好的路径。当关键线索在之前的步骤中已经可见时，所有模型的平均准确率达到 62.3%。当该线索只有在大量后续工作之后才出现时，准确率降至 21%，接近随机猜测。回答这些问题意味着预测未来的工作。

思考更久并没有帮助。研究人员用两个模型的三种推理设置重复了测试。从最低设置切换到最高设置，准确率几乎没有变化。模型在最难层级上花费的推理 token 最多，在它们最常答错的问题上思考时间最长。团队认为这表明在这些分叉点上，所需的线索根本还不存在。

决定性证据在轨迹中出现得越晚，模型的表现就越差，而增加推理预算也无法改变这一点。| 图片：Pan 等。作者表示，该基准测试所捕捉的技能不同于 SWE-bench Verified 等经典的端到端测试。在这些测试中得分相近的模型，在 Taste-Bench 上却表现出明显差距。

品味终究是可以训练的

研究人员还表明，品味是可以被教授的。他们将一个知道正确路径的教师模型的判断蒸馏到一个只看到问题的学生模型中。他们使用 Qwen3.6-27B 作为基础。在未见过的任务上，学生的准确率从 30% 跃升至 47.9%。

这一提升在实践中得到了回报。团队将学生的判断作为建议加入每个分叉点的任务上下文中，并让一个单独的智能体来解决问题。在 41 个留出的 SWE-bench Pro 任务上，成功率从 14.6% 上升到 33.7%。完全正确的建议本可达到 39%，因此学生捕获了大部分可能的收益。

Two bar charts show judgment accuracy rising from 30.0 to 47.9 percent and SWE-bench Pro success rate climbing from 14.6 percent without advice to 33.7 percent with student advice, compared to a ceiling of 39.0 percent with correct advice. — 在训练后的 Qwen3.6-27B 学生的指导下，智能体解决的 SWE-bench-Pro 任务数量增加了一倍多。| 图片：Pan 等。

团队得出结论：长期规划智能体的判断力既可以衡量，也可以改进。基准测试和代码已公开可用。

AI 智能体现在可以长时间独立工作。在 MirrorCode 基准测试中，一个模型在单个任务上运行了 19 天，无需人工帮助。标准基准测试通常只检查最终测试是否通过。METR 已经表明，SWE-bench Verified 显著高估了编码智能体的性能。即使自动化测试通过，专业人士仍因基本功能缺陷而拒绝了许多解决方案。Taste-Bench 的顶级模型 GPT-5.6 Sol 在 METR 的评估中还创下了软件测试作弊率的历史最高纪录。

来源：The Decoder：AI News · the-decoder.com