面壁智能分析 PostTrainBench 1338 条训练轨迹：Agent 几乎不会中途切换训练策略

OpenBMB· @OpenBMB · X·2026-10-26 21:00· 42 分钟前AI 评分62

AI 导读

面壁智能（OpenBMB）分析 PostTrainBench 的 1338 条完整后训练轨迹（7 个基准、4 个基座模型、Claude Code / Codex CLI / OpenCode、单张 H100 上 10 小时），将 Agent 能力拆分为执行与策略两层。

正文 · 原文

能跑完整后训练流水线的 Agent，几乎从不重新考虑其初始策略。
我们分析了 PostTrainBench 的 1,338 条完整训练轨迹——7 个基准、4 个基座模型、Claude Code / Codex CLI / OpenCode、单张 H100 上 10 小时——并将能力拆分为执行与策略两层。

1️⃣ 合格的执行者，锁定的策略。Agent 在每个基准上都优于基座模型；随着经验积累，平均分从 33.34 升至 48.55。所有执行层面的建议都被采纳，但策略层面的建议（例如切换到 RL、加入 SFT 预热）无一被采纳。在 3,557 组相邻实验对中，只有 2.1% 真正切换了策略。默认行为跟随 Agent 而非任务：Claude Code 有 71.9% 的情况从全参数 SFT 开始；Codex CLI 有 89.5% 的情况从 PEFT/LoRA 开始。

2️⃣ 经验与算力都无法解锁它。额外的经验和记忆提升了执行能力，却始终没有离开锁定的策略；更多推理 token 换来的是更精细的执行，而非更好的方向——在 AIME 2025 上，多花约 1400 万 token 只多解出 1 道题。

3️⃣ 中途的人类引导处处奏效。在同一检查点、相同剩余预算下，一句话切换到替代策略就胜过自主继续：GSM8K +17.44pp，HumanEval +10.80pp，AIME 2025 +6.67pp。

缺失的能力不是执行新策略——而是在轨迹中途自发重启策略决策的触发机制。

📄 论文：https://arxiv.org/abs/2608.19072
#AIAgent #PostTraining #LLM #RLHF #GRPO #PPO #RSI #AgentBenchmark #PostTrainBench #THUNLP

来源：OpenBMB · x.com