Meta 论文提出 Agent Plasticity 衡量智能体从经验中学习的效率差异

Rohan Paul· @rohanpaul_ai · X·2026-10-18 13:27· 1 小时前AI 评分51

AI 导读

Meta 等机构的论文提出 agent plasticity 概念，衡量 Agent 将经验转化为未来收益的效率。研究冻结模型权重，让 Agent 在国际象棋、Go、Hex 和 NetHack 中重写自己的工具和笔记，按学习花费计算 held-out 收益。

正文 · 原文

Meta 的新论文显示，前沿 Agent 从经验中学习的方式差异很大，表现最好的并不是学习效率最高的。

大多数 Agent 测试只衡量模型一次能做什么。它们忽略了模型是否会通过从过去的尝试中构建工具、笔记和技能而变得更好，以及为此付出什么成本。

他们冻结模型权重，让 Agent 玩国际象棋、Go、Hex 和 NetHack，并在每轮之后重写自己的工具和笔记。然后他们对 held-out 对局评分，并将 plasticity 定义为每花费一美元学习所获得的 held-out 收益。

在困难国际象棋中，Claude Fable 5 在 held-out 对局上的胜率从 37.5% 升至 73.3%。在国际象棋、Go 和 Hex 中，GPT-5.6 Sol 每 1,000 美元学习成本获得 298 分，而 Claude Fable 5 为 57 分。

评估自我改进的 Agent 时，要跟踪 held-out 学习曲线和成本，并检查 Agent 是否真的使用了它保存的内容。

来源：Rohan Paul · x.com