Apple 提出 RLTL;DR：通过内化自生成反馈实现自我提升

作者Michael Kirchhof、Eleonora Gualdoni、Andrew Szot、Khashayar Gatmiry、Aryo Lotfi、Abbas Kazerouni、Omar Attia、Sanjoy Chowdhury、Alexander Toshev

带可验证奖励的强化学习（RLVR）的常见范式是让智能体对一项任务进行多次尝试，并朝着成功的尝试进行优化。这在自我改进领域会变得有问题，因为那里的任务如此困难，以至于智能体成功的机会很低甚至为零，而且没有教师模型或示例解决方案可供蒸馏。在本文中，我们提出了 RLTL;DR。在每次失败的尝试之后，我们向策略展示验证器的输出，并让它以单条 TL;DR 洞见的形式写出自己的反馈。下一次 rollout 以所有先前的洞见为条件，我们顺序采样 rollout，直到找到解决方案。此外，我们在上下文洞见上启用反向传播，以内化一个直接的任务 → 洞见映射。在具有挑战性的工具调用和编码数据集上（过滤至 Pass@128 = 0），对 Qwen 3.5 9B Thinking 策略进行标准 GRPO 训练时，Pass@1 一直停留在 0% 到 1%。RLTL;DR 突破了这一学习障碍，在训练期间上下文中有洞见时达到 14–31% 的 Pass@1，并且至关重要的是，在评估时上下文中没有洞见时达到 12–13%。我们确定关键在于任务 → 洞见的内化。为了进一步研究这一点，我们将我们的方法简化为 SFTL;DR，仅对（任务，洞见）元组进行训练，而不展示或反向传播任何 rollout。仅用 4k 个这样的元组进行训练，就恢复了 RLTL;DR 以及经典 SFT 在完整 rollout 上几乎全部的性能。这展示了一种有前景的压缩训练范式，其形式为“在这类任务上，记住这类事情”，我们希望这能启发未来的研究。

相关阅读和更新。

机器人如何安全地绕开具有复杂运动模式的人群？仿真中的深度强化学习（DRL）带来了一些希望，但许多先前的工作依赖于无法捕捉真实人类运动细微差别的模拟器。因此，我们提出了深度残差模型预测控制（DR-MPC），使机器人能够从真实世界的人群导航数据中快速、安全地执行 DRL。通过将 MPC 与无模型 DRL 相结合，DR-MPC 克服了……

阅读更多

今年早些时候，Apple 举办了健康机器学习研讨会。这场为期两天的混合活动汇集了 Apple 与学术研究界以及临床医生，共同讨论健康领域最先进的机器学习（ML）研究。

阅读更多