RISED：用评分量表实现智能体多环境选择与自蒸馏
RISED: Rubrics for Agentic Multi-Environment Selection and Self-Distillation
Apple 团队提出 RISED，将评分量表（rubrics）从奖励信号扩展为多环境 LLM 智能体训练中的数据选择与策略监督工具。LLM 裁判用跨环境共享的 rubric 词表标注每条 rollout，据此挑选与混合环境批次行为构成一致的数据，并让正向 rubric 为同策略自蒸馏教师提供 token 级监督、负向 rubric 引导后续生成避开重复失败模式。
作者Jingtan Wang†**、Sirajul Salekin、Young mok Jung、Javier Movellan、Bryan Kian Hsiang Low†、Manjot Bilkhu
在多样化的交互环境中联合训练单个 LLM 智能体，作为通往通用智能体的一条路径，正受到越来越多的关注。现有的课程与数据选择策略通常按环境层面分配训练，或优先考虑基于局部奖励的信号，而没有在提示组选择时明确考虑当前各环境 rollout 之间的关系。与此同时，由于各环境的学习速度不同，全失败和全成功的 rollout 组可能在同一批次中共存，使这些数据缺乏组相对奖励信号。这两个挑战都凸显了在多环境 RL 中仅依赖标量奖励的局限：它们提供的关于跨环境关系的信息有限，且当奖励相同时没有组内奖励对比。这促使我们采用更丰富的文本反馈，例如描述 rollout 行为的评分标准，来指导学习。除了将评分标准用作奖励之外，我们还将其重新用于指导在线数据选择和策略监督。一个 LLM 评判器使用跨环境共享的预定义评分标准词汇表为每个 rollout 打标签。由此得到的画像指导数据选择，使其与混合环境批次的整体行为构成相一致，同时限制与已选数据的重叠。可用的正向评分标准（描述期望行为）为同策略自蒸馏教师提供特权上下文，提供额外的 token 级监督，而负向评分标准（描述不期望行为）则指导后续 rollout 生成远离反复出现的失败模式。这些组件共同构成了 RISED。在不同模型骨干上，RISED 在各环境中取得了最高的平均通过率，并在每个单独环境中排名第一或第二。基于评分标准对 RISED 的分析可以进一步刻画伴随这些收益而来的行为变化。
- † 新加坡国立大学
- ** 在 Apple 期间完成的工作
相关阅读与更新。
为开放域问答设计有效的奖励信号具有挑战性，因为高质量的回答必须同时满足多个方面的答案质量，而这些方面很难用单一的标量目标来捕捉。我们引入了一个基于评分标准的奖励框架，该框架生成以检索证据为依据、并分解为多个质量维度的查询特定评分标准，在……期间提供细粒度监督。
密集图像描述对于视觉-语言预训练和文本到图像生成中的跨模态对齐至关重要，但扩展专家级标注的成本高得令人望而却步。虽然通过强大的视觉-语言模型（VLM）进行合成描述是一种实用的替代方案，但监督蒸馏往往导致输出多样性有限且泛化能力较弱。强化学习（RL）可以克服这些局限，但其……
来源：Apple Machine Learning Research · machinelearning.apple.com