跳到正文
Hugging Face Daily Papers· Minjae Oh·· 20 天前AI 评分31

VLA 强化学习的低秩结构:RL 微调如何重塑 π_{0.5} 与 GR00T N1.5/N1.6

The Low-Rank Structure of VLA Reinforcement Learning

AI 导读

研究发现,在 LIBERO、ManiSkill、MetaWorld 和 CALVIN 上对 π_{0.5}、GR00T N1.5/N1.6 等流式 VLA 模型做强化学习后训练时,参数更新呈现显著低秩,且高度集中在动作专家的 Timestep Modules 这一此前被忽视的小组件中。模块替换实验进一步显示,这些模块承担了不成比例的更新份额。

来源:Hugging Face Daily Papers · huggingface.co