评估 LLM 智能体：权重与 harness 两座山

发布于 2026-10-11

涵盖：你可以改变的两样东西——权重与 harness，为什么 harness 没有梯度，以及为什么它的测量规范只有几年历史。
推迟：如何构建评估本身留待第 2 至第 5 部分，评判器校准留待第 7 部分，小评估集的统计留待第 8 部分（大纲）。

当一个语言模型系统不够好时，有两类改变可以修复它。你可以改变权重，或者改变智能体 harness——即模型周围的那套代码，它组装提示词、暴露工具、管理上下文与记忆，并运行决定何时调用工具、重试或停止的循环。Claude Code 和 SWE-agent 在这个意义上就是 harness，Anthropic 的工程团队明确表示，当他们评估一个智能体时，他们评估的是“harness 与模型协同工作”（Anthropic, 2026）。评估 harness——运行评估的基础设施——是另一回事，智能体在其中行动的沙箱也是，第 5 部分将后者视为环境的一部分。

我把这些看作两座不同的山，而不舒服的地方在于，我们真正知道怎么爬的只有其中一座。

Two hills: weights have a gradient, harnesses do not

图 1。在权重之山上，测量与优化器是同一个对象。在 harness 之山上，人做出一个离散的改变，评估告诉他们这是否有帮助。

权重之山有梯度

我所知道的每一种改进权重的方法都有相同的基本形态。某个标量信号从某处来，它被转化为梯度，然后朝那个方向迈出一步，如此反复。方法与方法之间真正不同的只是那个信号来自哪里：

预训练和监督微调使用针对数据的损失。
RLHF 从基于人类偏好训练的奖励模型获取信号（Christiano et al., 2017；Ouyang et al., 2022）；DPO 是同样的思路，只是把奖励模型折进了损失里，因此没有单独需要训练的东西（Rafailov et al., 2023）。
RLVR 扔掉奖励模型，改用程序：一个单元测试、与已知答案的符号匹配，任何可以机械检查的东西（Lambert et al., 2024；DeepSeek-AI, 2025）。

在所有这些方法中，奖励同时也是评估，优化器针对它迈出数百万个微小的步骤，无人看管。这是一门成熟的学科。有损失曲线可看，有学习率可调，还有悠久的优化理论历史，在出问题时可以依靠。

这一切都不能让它变得安全。对任何代理指标施加足够大的压力，它就不再意味着你开始时它意味着的东西（Gao et al., 2022），而且信号甚至可以完全脱离能力：Shao et al. (2025) 使用随机分配的奖励，让 Qwen2.5-Math-7B 在 MATH-500 上获得了 21.4 分的提升，与真实奖励给出的结果相差不远。所以即使在权重之山上，你优化的信号和你信任的信号最好也是两样不同的东西。

harness 之山没有梯度

相比之下，一个 harness 是一系列离散、结构化的选择：提示词中的一段话、一个工具、一条关于何时停止的规则。你无法通过“加一个重试”来做微分。爬上这座山的每一步都是一个人做出改变，然后测量发生了什么，而且在这个过程中没有损失曲线可看。评估是唯一告诉他们哪边是向上的东西。

人们尝试过制造梯度，其中一些尝试很巧妙。ProTeGi 形成自然语言的“梯度”，批评一个提示词，然后据此进行编辑（Pryzant et al., 2023）。OPRO 使用模型本身作为优化器（Yang et al., 2023）。DSPy 针对某个指标编译整个流水线（Khattab et al., 2023），而 TextGrad 将文本反馈反向传播通过一个程序（Yuksekgonul et al., 2024）。Reflexion 改进一个智能体“不是通过更新权重，而是通过语言反馈”（Shinn et al., 2023）。它们共同的一点是都需要一个指标来优化。它们都没有摆脱评估；它们只是把它变成了目标函数。

这就是我写这个系列的原因。在 harness 这座山上，评估必须承担梯度在权重那座山上所起的作用。如果它充满噪声，你就会随机迈步。如果它衡量了错误的东西，你就会爬上错误的山，而过程中没有任何东西会提示你，因为没有留出的损失来产生分歧。

为什么这座山是新的

我们现在所知的智能体 harness 在 2022 年底 ReAct 将推理-行动循环置于模型周围之前几乎不存在（Yao et al., 2022）。让我确信 harness 是它自己的一条轴线的论文是 SWE-agent：在拥有与其他所有人同类模型的情况下，重新设计的智能体-计算机接口在 SWE-bench 上达到了 12.5% 的 pass@1，远高于这些模型的非交互式使用所能达到的水平（Yang et al., 2024）。随后 Kapoor et al. (2024) 认为，该领域一直在就其准确率提升来自何处得出错误结论，因为没有人将成本与准确率一起衡量。最近，Holistic Agent Leaderboard 在模型、脚手架和基准上运行了 21,730 次 rollout，并发现，除其他事项外，更高的推理努力在大多数运行中使准确率变得更差（Kapoor et al., 2025）。

所以，衡量 harness 变化的实践大概只有三年历史，而大多数工具比这还要年轻。Model Context Protocol，即标准化工具如何暴露给模型的东西，直到 2024 年底才出现（Anthropic, 2024）。

谁在哪座山上

大多数用语言模型构建的团队根本不碰权重。他们完全在 harness 这座山上，这意味着评估就是他们全部的优化机制，无论他们是否这样看待它。实验室攀登两座山，而最近这两者一直在趋同：用于通过 RL 训练编码智能体的可执行环境，与人们用来评估 harness 的环境是相同的（Pan et al., 2024；Yang et al., 2025）。第 5 部分会回到这一点。

本系列的其余部分是关于如何构建这种衡量。

还有七个部分在系列页面上列出。

参考文献

Anthropic (2026)。揭开 AI 智能体评估的神秘面纱。Anthropic Engineering。
Christiano, P. F. 等 (2017)。从人类偏好中进行深度强化学习。NeurIPS。
Ouyang, L. 等 (2022)。通过人类反馈训练语言模型遵循指令。NeurIPS。
Rafailov, R. 等 (2023)。直接偏好优化：你的语言模型其实是一个奖励模型。NeurIPS。
Lambert, N. 等 (2024)。Tülu 3：推动开放语言模型后训练的前沿。
DeepSeek-AI (2025)。DeepSeek-R1：通过强化学习激励 LLM 的推理能力。
Gao, L.、Schulman, J. 和 Hilton, J. (2022)。奖励模型过度优化的缩放定律。ICML 2023。
Shao, R. 等 (2025)。虚假奖励：重新思考 RLVR 中的训练信号。
Pryzant, R. 等 (2023)。基于“梯度下降”和束搜索的自动提示优化。EMNLP。
Yang, C. 等 (2023)。大型语言模型作为优化器。ICLR 2024。
Khattab, O. 等 (2023)。DSPy：将声明式语言模型调用编译为自我改进的流水线。ICLR 2024。
Yuksekgonul, M. 等 (2024)。TextGrad：通过文本进行自动“微分”。
Shinn, N. 等 (2023)。Reflexion：具有言语强化学习的语言智能体。NeurIPS。
Yao, S. 等 (2022)。ReAct：在语言模型中协同推理与行动。ICLR 2023。
Yang, J. 等 (2024)。SWE-agent：智能体-计算机接口实现自动化软件工程。NeurIPS。
Kapoor, S. 等 (2024)。真正重要的 AI 智能体。
Kapoor, S. 等 (2025)。整体智能体排行榜：AI 智能体评估缺失的基础设施。
Anthropic (2024)。模型上下文协议。规范与文档。
Pan, J. 等 (2024)。使用 SWE-Gym 训练软件工程智能体与验证器。
Yang, J. 等 (2025)。SWE-smith：为软件工程智能体扩展数据。