Kyutai 联合 Inria 发布 2.4B 视觉-语言-动作模型 REKI，权重已在 Hugging Face 开放
Kyutai 发布 REKI：2.4B 视觉-语言-动作模型，为机器人操作带来高效记忆
Kyutai 联合 Inria 和 École des Ponts 发布 2.4B 参数的视觉-语言-动作模型 REKI，仅用公开数据预训练，权重已在 Hugging Face 以 CC BY-NC-SA 4.0 开放。
MarkTechPost· Asif Razzaq·2026-10-18 04:22· 2 小时前AI 评分44
认识 Kyutai REKI：为机器人操作带来高效记忆的 2.4B VLA 模型
AI 导读
Kyutai 联合 Inria 和 École des Ponts 发布 2.4B 参数的视觉-语言-动作模型 REKI，仅用公开数据预训练，权重已在 Hugging Face 开放（CC BY-NC-SA 4.0）。
正文 · 原文
Kyutai 联合 Inria 和 École des Ponts 发布了 REKI，这是一个 2.4B 的视觉-语言-动作模型（VLA），用于机器人操作。REKI 视觉-语言-动作模型仅使用公开数据进行预训练。它还以低成本记住了最近的过去。在三个分布外基准上，只有规模约为其两倍的模型才能胜过它。所有权重今天已在 Hugging Face 上线。
TL;DR
- 规模：2.4B 参数（2.2B Qwen3.5-2B VLM + 0.2B 流匹配动作专家）。记忆覆盖最近 3 帧，间隔 1 秒。
- 运行环境：在 1 块 NVIDIA H100 上完成基准测试。编译后，每个动作块耗时 21.8 ms，输入来自 2 个 256×256 摄像头。权重以 BF16 格式发布。未公布量化版本。
- 性能：在 LIBERO-Plus 和 RoboTwin Clean2Rand 上，是使用公开数据预训练的 VLA 中表现最好的。
- 最佳：LIBERO-Plus 上 90.4%，为 Kyutai 对比中的最高分。
- 最差：RoboCasa365 上 38.4%，明显落后于 Xiaomi-Robotics-1（57.4%）。
什么是 REKI？
REKI 是 Kyutai 推出的视觉-语言-动作模型，可将摄像头视角和指令映射为机器人动作。它将 Qwen3.5-2B 主干与 2 亿参数的动作专家配对。该专家通过流匹配生成动作块，以 10 步 Euler 积分。机器人状态和流时间通过自适应 RMSNorm 输入。每种机器人状态布局都有各自的小型状态 MLP。
REKI 的记忆如何工作？
大多数 VLA 仅基于当前帧行动。此前的记忆方法要么将过去帧输入 VLM，要么展开训练，要么添加模块。每种方案都会增加成本。
REKI 则将记忆放在动作专家内部。每帧的动作 token 之前有 32 个学习得到的寄存器 token。它们对该帧编码后的提示和视角进行交叉注意力。它们还对较早帧的寄存器进行自注意力。
寄存器从不读取动作 token。因此它们仅依赖观测，而不依赖流时间或机器人状态。它们每帧计算一次，并缓存在滚动窗口中。
据项目页面，成本很小：
- 读取缓存的寄存器会给 21.8 ms 的动作块增加 0.1 ms。
- 缓存每个过去帧约占用 2 MiB GPU 内存。
- 训练将 3 帧窗口打包为 1 次批处理。
记忆还修复了一种失败模式。没有它时，机械臂常在 2 个姿态之间振荡。在 RoboTwin 上，有记忆时振荡回合从 18.6% 降至 4.1%。Kyutai 将其归因于感知混叠。
REKI 在基准上表现如何？
REKI 只预训练一次，然后按基准分别微调。以下分数来自模型卡和项目页面。
- LIBERO-Plus：90.4%，领先于 Qwen-RobotManip（89.0%）和 π0.5（85.7%）。
- RoboTwin Clean2Rand：65.8%，仅次于 Qwen-RobotManip（68.5%）。
- RoboCasa365：38.4%，领先于 RLDX-1（36.0%）和 Qwen-RobotManip（35.9%）。
- LIBERO（4 个套件）：97.6%。
- RoboTwin 2.0 Easy / Hard：85.9% / 84.6%。
预训练在分布外场景中帮助最大。它在 Clean2Rand 上提升 13.8 分，在杂乱环境下提升 30.3 分。记忆在 LIBERO-Plus 上增加 1.5 分，在 RoboCasa365 上增加 5.4 分。
REKI 与其他 VLA 相比如何？
| 特性 | REKI（Kyutai） | Qwen-RobotManip（Qwen） | π0.5（Physical Intelligence） | ABot-M0（AMAP） |
|---|---|---|---|---|
| 总规模 | 2.4B | 4.7B（据 Kyutai） | 3.3B（据 Kyutai） | 4.6B（据 Kyutai） |
| VLM 主干 | Qwen3.5-2B | Qwen3.5-4B | 基于 Gemma | 未披露 |
| 预训练数据 | 仅公开数据 | 开源 + 人类视频 | 包含自有机器人数据 | 开源（UniACT） |
| 记忆 | 32 个寄存器，3 帧 | 上下文变体 | 无 | 无 |
| LIBERO-Plus | 90.4 | 89.0 | 85.7（Kyutai 评测） | 80.5 |
| RoboTwin Clean2Rand（均值） | 65.8 | 68.5 | 63.8 | 55.7 |
| RoboCasa365 | 38.4 | 35.9 | 16.9 | 未披露 |
| H100 延迟，已编译 | 21.8 ms | 未披露 | 33.8 ms（openpi，Kyutai） | 46.1 ms（Kyutai） |
| 权重 | 开放，CC BY-NC-SA 4.0 | 未发布 | 开放，Apache-2.0 仓库 | 开放，Apache-2.0 仓库 |
注：Clean2Rand 均值由 Qwen-RobotManip 报告表 5 中的 6 种条件计算得出。Qwen 报告列出 π0.5 在 LIBERO-Plus 上为 84.4。
REKI 是在什么数据上训练的？
该混合数据包含 1.0B 帧以及 12.2M 视觉-语言样本。真实机器人遥操作提供 639.8M 帧，仿真提供 193.9M 帧，第一人称人类视频提供 170.9M 帧。来源包括 DROID、BridgeData V2、AgiBot World、EgoDex 和 EgoVerse。预训练在 32 块 H100 GPU 上运行了 200,000 步。Kyutai 保留每个数据集原生的控制约定，而不是重新映射动作。
如何部署 REKI？
列出了六个检查点：预训练基础模型，以及针对 LIBERO、RoboTwin（2 个变体）、RoboCasa365 和 RoboCasa-GR1 的微调版本。真实机器人部署使用 LeRobot 异步推理 gRPC 协议。在 UR5 机械臂上，REKI 针对每个任务的 50 个演示微调了 3k 步（1 小时）。
from reki import RekiPolicy
policy = RekiPolicy.from_pretrained("kyutai/reki-2b-libero", device="cuda")
policy.reset() # clears the register cache at episode start
actions = policy.predict(images={"camera_top": img0, "camera_wrist_left": img1},
state=proprio, task="put the bowl on the plate")关键要点
- REKI 是一个仅用公开数据预训练的 2.4B VLA。
- 它在 LIBERO-Plus 上得分 90.4%，在 Kyutai 的对比中排名第一。
- 32 个缓存寄存器令牌带来记忆，仅增加 0.1 ms。
- 在 RoboTwin 上，记忆将姿态振荡从 18.6% 降至 4.1%。
- 权重开放但非商用（CC BY-NC-SA 4.0）。
查看论文、项目页面、模型权重和GitHub 仓库。所有功劳归于该项目的 researcher。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ ML SubReddit 并订阅我们的新闻通讯。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。
文章 Meet Kyutai REKI: The 2.4B VLA Model Bringing Efficient Memory to Robot Manipulation 首次发表于 MarkTechPost。
来源：MarkTechPost · marktechpost.com
来源：RadarAI · aihot.news