新基准 Taste-Bench 测出 AI 智能体长期决策品味不足

论文作者将做出这些良好选择的能力称为智能体的“品味”。现有基准只衡量智能体是否完成任务，而不衡量其过程中每一步的质量。Taste-Bench 旨在填补这一空白。

长期决策无法在当下评判

你无法立刻判断一个长期选择是否正确。干净利落的实现和草率的实现起初可能产生相同的输出，也可能通过相同的测试。只有到后续修改变得更容易时，干净的做法才会显现出优势。人工评分成本高昂，需要深厚的领域专业知识，且无法规模化。

因此研究人员依赖事后回溯。轨迹的后续路径——即智能体运行过程的记录，包含其所有步骤和观察结果——能显示早先的选择是否奏效。在实践中，智能体系统会多次尝试同一任务。这些尝试最终会分岔走向不同方向。

由于每次尝试的最终结果都揭示了更优路径，这些运行本身便提供了带标签的对比。作者将这一分岔点称为“决策岔口”。为了衡量品味，他们在岔口处冻结运行，隐藏之后的所有工作，让模型在两条路径之间做出选择。

过往错误揭示智能体出错之处

Taste-Bench 包含 502 个问题，每个问题都包含原始任务、截至岔口的轨迹以及两个可能的方向。第一类问题来自对同一任务的两次独立尝试出现分歧，其中智能体从未看到错误路径。

第二类问题来自智能体在单次运行中自我纠正并走了弯路。在这里，最初被放弃的方向和后来成功的方向构成两个候选。这一变体测试模型能否比执行任务的智能体更早发现错误。

原始数据来自数千次在编码和 AI 研究任务上经过评分的智能体运行，包括 SWE-bench Pro 和 METR 公开转录发布 MALT。一个生成器模型筛选出合适的岔口，剔除答案显而易见的简单问题，并移除无法判定的案例。人工审核确认了几乎所有自动生成的标签。

即便顶级模型也仅略胜于抛硬币

团队测试了来自 Claude、GPT、Grok、DeepSeek、GLM、MiniMax 和 Mistral 系列的 14 个当前模型。每个问题被提问两次，一次按正常顺序，一次翻转选项。只有模型两次都答对，该问题才计入。纯猜测在此得分为 25%。

测试中表现最好的模型 GPT-5.6 Sol 平均得分为 59.7%，紧随其后的是 GPT-5.5，为 59.5%。所有其他模型的得分都远低于此。尽管每个问题都只是二选一，却没有一个模型接近解决该基准。绕路岔口始终比并行岔口更难。

当证据仅在后续出现时，模型表现崩溃

对于每个岔口，团队检查了观察者需要向前看多远，更优路径才会变得清晰。当关键线索在先前步骤中已经可见时，所有模型的平均准确率达到 62.3%。当该线索仅在大量后续工作之后才出现时，准确率降至 21%，接近随机猜测。回答这些问题意味着预测未来的工作。

思考更久并没有帮助。研究人员用两个模型的三种推理设置重复了测试。从最低设置切换到最高设置，准确率几乎没有变化。模型在难度最高的层级上花费的推理 token 最多，在它们最常答错的问题上思考时间最长。团队认为这表明在这些分叉点上，所需的线索根本还不存在。

决定性的证据在轨迹中出现得越晚，模型的表现就越差，而增加推理预算也无法改变这一点。| 图片：Pan 等。作者表示，该基准测试所捕捉的技能不同于 SWE-bench Verified 等经典的端到端测试。在那里得分相近的模型，在 Taste-Bench 上却表现出明显差距。

品味终究是可以训练的

研究人员还表明，品味是可以被教授的。他们将一个知道正确路径的教师模型的判断蒸馏到一个只看到问题的学生模型中。他们使用 Qwen3.6-27B 作为基础。在未见过的任务上，学生的准确率从 30% 跃升至 47.9%。

这一提升在实践中得到了回报。团队将学生的判断作为建议加入每个分叉点的任务上下文中，并让一个单独的智能体来解决问题。在 41 个留出的 SWE-bench Pro 任务上，成功率从 14.6% 上升到 33.7%。完全正确的建议本可达到 39%，因此学生捕获了大部分可能的收益。

团队得出结论：长期规划智能体的判断力既可以衡量，也可以改进。基准测试和代码已公开可用。

AI 智能体现在可以长时间独自工作。在 MirrorCode 基准测试中，一个模型在没有任何人工帮助的情况下，在单个任务上运行了 19 天。标准基准测试通常只检查测试最终是否通过。METR 已经表明，SWE-bench Verified 显著高估了编码智能体的性能。即使自动化测试通过，专业人士仍因基本功能缺陷而拒绝了许多解决方案。Taste-Bench 的顶级模型 GPT-5.6 Sol 在 METR 的评估中也创下了软件测试作弊率的历史最高纪录。