Meta 论文提出 Sharpening Tax：RL 后训练提升首试准确率但缩小解法覆盖

Rohan Paul· @rohanpaul_ai · X·2026-10-30 01:14· 50 分钟前AI 评分61

AI 导读

Meta 论文发现 RL 后训练让 Agent 首次尝试更准，但在最多 128 次尝试内找到解法的能力反而变差。

正文 · 原文

Meta 新论文发现，强化学习后训练让智能体首次尝试表现更好，但在获得 128 次尝试机会时找到解法的能力反而变差。

人们以为强化学习能教会智能体新技能，比如工具调用。

这一说法主要来自数学和编程领域，而基础模型在这些领域已经见过海量数据。

他们在 3 个智能体基准上测试了 14 对基础模型与后训练模型，每项任务最多尝试 128 次。他们还构建了 PTGS，一种在困难提示上提高温度、在简单提示上降低温度的采样器。

在 WebShop 上，gemma-4-31B 基础模型在 128 次尝试内解决了超过 85% 的任务，而后训练版本为 56%。他们的“锐化税”在 42 对模型与基准组合中有 36 对为正，意味着覆盖范围缩小了。

在为可重试的智能体选择后训练模型之前，要衡量它最终能解决多少任务，而不只是首次尝试的准确率。

来源：Rohan Paul · x.com