浙大研究：弱模型 JEV 当步骤评分器，可将 Qwen2.5-1.5B 智能体成功率从 72.8% 提升至 82.9%
浙大研究：弱模型也能当教练提升智能体表现
浙江大学论文提出，决策模型 JEV 单独执行 ALFWorld 任务成功率仅 42.9%，但作为步骤评分器可将 Qwen2.5-1.5B 策略的成功率从 72.8% 提升至 82.9%。该方法让评分器在整轮结束后为每个动作打分，并将分数加入 GRPO 训练，替代通常需要逐环境标签或每步 LLM judge 的做法。研究建议按评判录制轨迹的能力而非自身执行能力来挑选步骤评分器。
Rohan Paul· @rohanpaul_ai · X·2026-11-15 02:59· 1 小时前AI 评分44
AI 导读
浙江大学论文提出，本身不擅长任务的决策模型 JEV 单独执行 ALFWorld 任务成功率仅 42.9%，但作为步骤评分器可将 Qwen2.5-1.5B 策略的成功率从 72.8% 提升至 82.9%。
正文 · 原文
一个本身不擅长某项任务的 AI 模型，仍能训练另一个 AI 把它做好。
新论文显示，一个名为 JEV 的决策模型——一种用于在选项之间做选择而非生成文本的 AI 模型——单独执行模拟家务任务的成功率仅为 42.9%，但通过在事后审查另一个 AI 的每一步操作，它将该 AI 的成功率从 72.8% 提升至 82.9%。
浙江大学的新论文显示，一个不擅长某项任务的 AI 模型，仍能通过在尝试结束后审查另一个 AI 的每一步操作，训练它把这项任务做好。
Agent RL 通常只奖励最终结果，因此每一步都获得相同的功劳。为每一步打分通常需要针对每个环境的标签，或在每个动作处使用 LLM 评判器。
他们在 ALFWorld 和 WebShop 上测试了决策模型（返回带概率的选择而非文本）作为执行者和步骤评分器的表现。作为评分器时，模型会看到完整运行过程，并评估每个动作是否有帮助，这些分数会被加入 GRPO 训练。
决策模型 JEV 在执行时仅完成 42.9% 的 ALFWorld 任务。作为评分器，它可将 Qwen2.5-1.5B 策略的成功率提升至 82.9%，而仅使用 GRPO 结果奖励时为 72.8%。
选择步骤评分器应看它评判已记录运行过程的能力，而非它执行任务的能力，并且要针对每个动作提问，而非针对结果。
来源：Rohan Paul · x.com
来源：RadarAI · aihot.news