Agent Plasticity：用经验学习效率衡量智能体自我提升

能力是快照。可塑性是斜率。

大多数智能体基准测试问的是模型今天能做什么。但智能体越来越能超越单一任务：它们会持续记录笔记、编写工具，并积累可供后续实例继承的技能。两个起初同样强大的智能体随后可能分道扬镳，一个随经验稳步提升，另一个则停留在起点。

我们把这一属性称为智能体可塑性：智能体将经验转化为持久改进的效率。为衡量它，我们追踪每个智能体在积累经验过程中的留出集得分，并将增益除以学习成本。

设置

冻结模型如何学习

模型的权重从不改变。改变的是每个新实例继承的清单：Python 工具、写下的策略与技能，以及记忆笔记。我们把每个文件称为一个工件，而模型加上其经过 t 轮后的清单即为检查点 t（检查点 0 是裸测试框架）。每一轮都遵循相同的循环。

• 每次都是全新的。每局游戏都从新的上下文开始。除了清单之外，没有任何东西延续下来。
• 经过检查，而非信任。提议的编辑必须通过结构性和可执行性检查。这些检查确立的是有效性，而非改进，被拒绝的尝试仍计入学习成本。
• 在未见过的对局上评分。留出的分布内（ID）对手与训练难度匹配。留出的分布外（OOD）对手更强。

我们在国际象棋（两种难度配置：Hard 和 Easy）、5×5 围棋和 6×6 六边形棋中运行 20 轮，在 NetHack 中运行 40 轮。对手是引擎：Stockfish 16、GNU Go 和一个原生六边形棋引擎。在国际象棋中，我们比较 Claude Fable 5、Claude Opus 5、GPT-5.6 Sol、Claude Opus 4.8、Gemini 3.1 Pro、GPT-5.5、Claude Opus 4.6 和 GPT-5.6 Luna；围棋和六边形棋使用六个模型的子集。NetHack 使用可通过 Claude Code 和 Codex 获取的六个模型：Claude Opus 5.5、Claude Opus 5、GPT-5.6 Sol、Claude Opus 4.8、Claude Sonnet 5 和 GPT-5.6 Luna。

衡量可塑性

学习成本是用于训练对局和反思的 API 支出，包括被拒绝的编辑；留出评估不计入。可塑性最简单的衡量标准是每美元收益：留出分数 S 从检查点 0 到检查点 t 上升了多少分，除以截至该检查点花费的学习成本 C_t（以千美元计）。

P  =  S_t − S₀C_t / $1,000

但一旦学习器进入平台期，这个比率就会不断缩小，因为收益停止后支出仍在继续。因此，对于我们的头条数字 P_sat，我们为每条学习曲线拟合一条平滑的 S 形曲线，并在饱和点停止计时：即达到拟合上升幅度 90% 的第一个检查点。例如，GPT-5.6 Sol 和 Claude Fable 5 各自在趋于平缓前都提升约 35 分，但 Sol 达到该水平花费约 120 美元，Fable 约 610 美元，因此 Sol 的 P_sat 大约高出五倍（298 对 57）。如果上升幅度太小（低于 10 分）或没有统计支持，P_sat 为 0。如果没有检查点达到饱和，我们将拟合外推到最终成本的三倍；如果饱和点还在更远处，我们则报告迄今为止的可塑性。

发现 1

有些智能体进步很大。 另一些几乎不动。

每个人在反馈、反思和工件构建方面都获得相同的接口。但由此产生的曲线仍然几乎立刻分道扬镳。Claude Fable 5、Claude Opus 5 和 GPT-5.6 Sol 在留出 ID 对局上各自提升 30 到 40 分（对国际象棋、围棋和六边形棋取平均）。GPT-5.5 提升缓慢，而 Claude Opus 4.8 和 GPT-5.6 Luna 几乎不动。

国际象棋最清楚地展示了这种分化。在国际象棋（困难）中，Claude Fable 5 的留出 ID 分数从检查点 0 的 37.5% 上升到 检查点 16–20 的平均 73.3%，Claude Opus 5 则从 25.0% 上升到 66.4%。GPT-5.6 Sol 从接近零开始，但提升幅度大致相当（达到 36.9%）：它在绝对分数上落后，而非在进步幅度上落后。其他几个模型则基本停留在起点附近。面对更强的 OOD 对手时，增益更小或更不稳定：在训练环境中变强与迁移到训练环境之外是不同的结果。

回放

同一模型，不同配置

棋盘上的进步是什么样的？每个标签页将同一模型对同一 Stockfish 级别的两局游戏配对：一个早期检查点和一个较晚的检查点，后者是在智能体通过训练对局重建其库存之后。前三对是反思从未见过的留出对局；第四对展示了一局训练对局的失败以及它所促成的修复。我们选择这四对作为示例，而非典型对局，因此它们的说明文字给出的是平均得分。滑块上的红色和橙色圆点标记了 Stockfish 评定的智能体失误和错误，棋盘旁的条形图则追踪 Stockfish 从智能体一方给出的评估。

最后两个标签页，Live: skill 8 和 Live: skill 5，是我们为本篇文章新下的对局，使用 Claude Fable 5 的 checkpoint-0 和 checkpoint-20 库存作为黑方，在论文的留出设置下进行。在 checkpoint 0 时库存为空：对 skill 5 时，模型自行推理每一步（102,000 个输出 token），对 skill 8 时，它首先从零编写一个国际象棋引擎（67,000 个），该引擎在对局结束时丢失。在 checkpoint 20 时，它加载训练期间构建的引擎，仅写入 2,000 到 7,000 个。在我们所下的全部六局中（checkpoint 20 执两色），checkpoint 20 赢了三局、平了一局，而 checkpoint 0 平了一局、另一局弃权。这六局按论文价格花费了 $54.52。

超越国际象棋

这发生在其他游戏中，但排名会变化

在 5×5 围棋中，Claude Fable 5 的留出 ID 得分从 20% 升至 80%，其 OOD 得分从 0% 升至 50%。在 6×6 Hex 中，GPT-5.6 Sol 在留出 ID 上从 40% 攀升至 77.5%，在 OOD 上从 28.1% 攀升至 78.1%。但排名并不稳定：Claude Opus 4.8 在围棋中退步，而在 Hex 中大幅提升。自我编辑也可能破坏东西：Claude Opus 5 在围棋中大幅提升，随后在最终检查点的一个工具制作错误使其得分急剧下降。

NetHack 是最长时程的测试：一个部分可观察的地牢爬行游戏，其中单个错误决策就可能结束游戏。在这里，智能体从原生 Claude Code 和 Codex 开始，可以编辑 CLAUDE.md/AGENTS.md、技能、Python 工具和记忆。在每个检查点，每个谱系都玩同样的十局全新、未见过的游戏；先对它们评分，然后交给反思。我们运行了 40 个检查点。

Claude Opus 5.5 表现出清晰且持续的提升：其平均分从 checkpoints 0–2 期间的约 2,000 增长到 checkpoints 36–40 期间的约 6,000。其学习曲线在 checkpoint 11 处饱和，得到 P_sat = 61.75 归一化分数点每 $1,000（为此 NetHack 分数被重新缩放到 0–100，因此该值无法与棋盘游戏相比较）。在相同窗口内，Claude Opus 5 和 Claude Sonnet 5 上升更为温和（约 1,500 至 1,900，以及 680 至 800），Claude Opus 4.8 大致持平，而 GPT-5.6 Luna 下降（约 210 至 120）。GPT-5.6 Sol 也是如此（约 570 至 420），它是棋盘游戏上可塑性最强的模型。其他五个模型均未表现出可靠的上升。

一个持续存在的修复让这一点变得具体。在 NetHack 中，祈祷只有在你陷入严重困境且最近没有祈祷过时才能治疗你。在 checkpoint 1，Claude Opus 5.5 通过输入原始按键过早地再次祈祷，结果被杀。反思那局游戏后，它向 CLAUDE.md 添加了一条规则：只能通过自己的控制器（nhctl）祈祷，该控制器会检查祈祷是否安全。在 checkpoint 10，在另一次低血量紧急情况下，它等到控制器允许祈祷（94 点生命值中的 8 点）并完全治愈。这条规则并不总是成立：后来的智能体有时仍会绕过检查并在祈祷时死亡。

Finding 1持续自我改进取决于模型和任务。 相同的反馈、反思和工件构建接口在全部四款游戏中产生了截然不同的学习曲线，并且向更强对手的迁移并不一致。这促使我们在智能体任务的分布上评估可塑性，而不是将其视为与任务无关的模型属性。

Finding 2

最强的智能体并不是最高效的学习者

Checkpoint 曲线比较的是在相同更新轮数之后的智能体，但这些轮数的成本差异很大。将分数与花费的金钱作图（第一张图）区分了两个问题：智能体最终有多好？ 以及 经验多快能带来回报？

57P_sat

Claude Fable 5：拟合终点最高，约在 $610 处饱和

233P_sat

Claude Opus 5，约在 $140 处饱和

298P_sat

GPT-5.6 Sol：P_sat 最高，约在 $120 处饱和

14P_sat

Claude Opus 4.8：饱和点外推超出其运行范围

P_sat 以每 $1,000 学习成本对应的留出分数点表示，对国际象棋、围棋和 Hex 取平均。

三个领先者在趋于平稳前获得的提升幅度相近，约为 32–36 分。真正拉开差距的是成本： Claude Fable 5 最终得分最高，但要到约 610 美元的学习成本才达到饱和点，大约是 GPT-5.6 Sol 在（较低分数下）趋于平稳所需 120 美元的五倍。GPT-5.5 在运行结束时 仍在提升，因此无法确定其 P_sat。GPT-5.6 Sol 的起始分数也低于 Claude Opus 4.8，但最终在留出集性能和估计可塑性两方面都超过了它。这些估计取决于 供应商价格和饱和拟合，因此我们将可塑性视为与这一协议相关的度量，而非普适的 排名。

发现 2端点能力与获取效率 回答的是不同问题。 Claude Fable 5 在 综合博弈曲线上达到最高性能，而 GPT-5.6 Sol 的估计可塑性最大。 GPT-5.6 Sol 起始分数低于 Claude Opus 4.8，但最终 在留出集性能和估计可塑性两方面都超过了它。

发现 3

循环在哪里断裂

曲线告诉我们智能体是否在提升，而非为何没有提升。因此我们沿着产物生命周期 追溯每一个已识别的错误。智能体是否拥有覆盖该情境的产物？它是否实际使用了该产物 （读取文件或运行工具）？如果使用了，错误是否仍然发生？

低复用伴随弱提升。 在困难与简单国际象棋上合并统计， GPT-5.6 Luna 约 98% 的相关决策未使用任何产物， Gemini 3.1 Pro 约 87%，Claude Opus 4.6 约 51%， GPT-5.5 约 28%，而 Claude Fable 5、Claude Opus 5、 Claude Opus 4.8 和 GPT-5.6 Sol 仅为 2–6%。在国际象棋（困难）、围棋和六边形棋的 19 个模型–博弈单元中， 留出集 ID 复用与留出集 ID 增益相关。在一次 GPT-5.5 运行中，反思不断告诉智能体立即加载其保存的选子程序， 但智能体仍然把最初的步骤花在列出和读取文件上。写下指令 并不等于遵循指令。

高复用并不能解释剩余的差距。 Claude Fable 5、 Claude Opus 5、Claude Opus 4.8 和 GPT-5.6 Sol 在国际象棋相关决策中的产物复用率均达 94–98% （在困难与简单上合并统计），但最终博弈分数差异显著。复用率和使用 产物时的成功率都无法解释这一差距。

强提升者在复用产物时仍会失败。 这些模型总体上犯的错误更少（每项相关决策约 0.16 个已识别失败，而其他模型为 0.38）。但它们仍然犯的错误中， 83–99% 发生在相关产物正在 使用时。产物可能无法泛化到该局面，或者智能体可能应用不当：瓶颈从 寻找和复用产物转移到构建可泛化的产物并良好地应用它们。

什么会被延续下去

一次 Claude Fable 5 运行会自己编写一个国际象棋引擎——一个通过向前搜索来选择走法的程序——且不依赖外部库。随后它针对具体错误对引擎打补丁（顺序不一定如下）：

在国王被置于攻击之下后增加对能让国王脱离将军的走法的搜索。

在丢掉胜势局面后改变对重复局面的处理方式，因为重复可能导致对局以和棋结束。

在领先时未能赢下残局后给引擎在残局中更多的搜索时间。

在 checkpoint-6 的一局在 300-ply 上限时被判 0 分后让引擎在接近 300-ply 上限时更看重和棋，因为未完成的对局得 0 分，而和棋得半分（即上方的“300-ply 教训”回放）。

为阻止其工具超时编写一个辅助程序，在固定的总搜索预算下每次调用走多步。

之后每一局都从包含所有这些改动开始。这些例子展示了产物和行为如何随时间变化；它们并不说明是哪一项单一改动带来了提升。

发现 3产物复用与提升相关，但并非能力的代理指标。高复用率仍可能留下显著失败，暗示产物质量、通用性或使用方面存在问题。这些诊断是观察性的，而非因果性的。

这对构建智能体意味着什么

静态评估衡量的是智能体当前所处的位置。对于旨在积累经验的智能体而言，它们提升的效率与起点同样重要。我们的结果给出三条实用教训：

• 衡量斜率，而不只是终点。最佳最终得分和最佳学习效率可能属于不同的模型。
• 检查产物是否真的被使用。当相关产物被忽略时，让它们更难被跳过可能有帮助，例如自动加载或调用它们。
• 然后看产物质量。当复用已经频繁时，更好的流程和更好的应用就成为自然的目标。验证应测试产物是否有帮助，而不仅仅是它能否运行。

下一步在一系列有用的智能体任务分布上评估并爬山提升可塑性：构建不仅更有能力，而且更善于变得更有能力的智能体。

局限性。冻结权重和全新上下文隔离了持续适应，但未能将训练反馈带来的收益与开发产物所花费的额外计算区分开。我们的成本度量不包括部署成本，复用诊断是观察性的，可塑性估计依赖于定价和饱和拟合。小规模评估集增加了检查点噪声；在 NetHack 中，跨检查点的变化混合了学习与游戏难度，因为每个检查点都玩新对局；单独训练的多次运行无法确立跨任务迁移。细节见论文。

引用

@article{singh2026agentplasticity,
  title     = {Agent Plasticity: Measuring Self-Improvement Through Experience},
  author    = {Singh, Harman and Bakhtin, Anton and Shao, Rulin and
               Synnaeve, Gabriel and Kulikov, Ilia and Fergus, Rob and
               Arora, Sanjeev and Keutzer, Kurt and Weston, Jason and
               Mahajan, Anuj and Goyal, Anirudh},
  journal   = {arXiv preprint arXiv:2610.08902},
  year      = {2026}
}