Thomas Wolf 介绍 Microduck 团队端侧 SLAM 技术解析

Jensen Huang 与四只 Microduck 的这场现场演示彻底火了，我们对此欣喜若狂。但同时也存在很多困惑，所以我想澄清一下 Microduck 能做什么、不能做什么，以及它在未来现实中能够做到什么。 仅凭我在社交媒体上看到的几条大热帖子估算，仅这场演示的观看量就超过 6000 万次，一切都在沸腾。甚至我那个新注册的 Instagram 账号上发布的简单情感设计帖子也获得了 100 万+ 次观看。我们的 Microduck 销售速度惊人，甚至比它历史性发布时还要快。我一直在努力回答社交平台上看到的所有问题：人们在问机器人能不能做这做那，这篇文章旨在回答其中大部分问题。 首先，你们看到的演示并非完全自主。我们安排了一位工程师分别操控每只 Microduck。机器人上的动作是通过强化学习训练的，采用 sim-to-real 流程：行走、跌倒后站起、坐下、翻跟头、滑旱冰。所有这些都是以此方式训练的策略。操控员在现场活动中所做的是发送指令：方向（前进、旋转）、头部朝向（看向这里）、嘎嘎叫以及特殊动作（翻跟头、坐下）。 如果你购买一只 Microduck，开箱即得的是一个自主伴侣吗？目前的答案是否定的。但实现这一目标并不存在不可逾越的技术障碍。我不确定在发货前我们有多少时间投入这项工作，但由于一切都是开源的，我完全期待社区来构建它，而且会构建得很快。 现在让我们了解一下哪些已经完成、哪些容易添加、哪些是开放性问题。开箱即可使用、而且你现在就能在仿真中做到的，是用强化学习训练新策略。你可以教你的鸭子走出与我们提供的默认步态不同的步伐，跳一段奇怪的舞蹈，或者踩高跷行走。社区在这方面一直极具创造力，尽管他们只有模拟器。 请注意，当动作简单时，你不需要强化学习。例如，我早期做的情感设计主要是编码动作加上预生成的声音。一个简单的心智模型：当平衡是动作的一部分时，就使用强化学习。如果你试图通过天真地把一只脚放在另一只脚前面来编写一段电影般的行走，你的机器人现实中永远走不起来，因为你需要考虑运动的动力学、传感器的不准确性、与地面的摩擦，以及来自外部的潜在扰动，比如被推一下。 所以训练新策略绝对可行，但你无法通过训练一个策略在你家中获得一个真正的长期伴侣（好吧，技术上可以，但那是完全另一类策略：一个研究级问题，而且得到的神经网络可能非常庞大，永远无法在如此小的算力上运行）。相反，你需要几个额外的构建模块：语音识别、面部检测/识别、定位、一些简单的导航，以及一个行为层，后者技术性较弱且更难描述。 根据经验法则，只要拥有现代编码智能体，并且计算不在机器人上运行（意味着机器人可以访问互联网或外部计算机并使用外部 API），任何人都能触及上述任何一项的原型。上述每一项的粗略原型都可以是一个轻松的周末项目。一如既往，从原型到高质量实现是另一回事，但只要投入时间并大量测试，对大多数人来说仍然可行。 然而，让这一切都在本地、在板载芯片上运行，我会称之为一项非常艰巨的任务。你需要一些非常巧妙的工程才能让所有东西协同工作到足够好的版本。但我不能说这不可能，因为我见过上述所有内容的一些极其高效的实现。而且在这里我们不需要超高的成功率：鸭子有时做点随机的事情也没关系。所以如果有人能做出一个完全本地化、酷炫、简单的自主伴侣版本，我不会感到惊讶。例如，你不需要 Whisper 级别的开放词汇转录：能识别几个关键词对交互来说就已经很棒了。 把这个机器人变成自主伴侣的最快方法之一，是将 Microduck 的传感器（摄像头、深度传感器、IMU 和关节位置）流式传输到计算机，并使用类似我们在 Reachy Mini 上用于对话应用的软件栈：本地 VAD，然后云端语音转文本模型，然后调用前沿 LLM 来决定动作。动作可以是嘎嘎叫、看向物体/人脸/某个方向、走到指定位置、坐下、播放情感、踢腿或翻跟头。SLAM 算法会并行运行，以便机器人能在你家中定位自己，你会提示 LLM 做出逼真的行为：移动到随机地点，有时跟随人，并做出与你所说的话和鸭子所处环境相符的情感反应。当然，有人会在此基础上构建一个类似 Tamagotchi 的层，那将会疯狂至极。 对一套能完成所有这些的软件套件的需求有多大？我个人认为它会超级酷。 说几句关于人的话。我们在后台有五位工程师，他们基本上就是 Microduck 背后的核心团队。他们的人均影响力绝对爆表。Antoine Pirrone 操控 Graphite，Augustin Crampette 操控 Lavender（那个叛逆的），Matthieu Lapeyre 操控 Sky，Coralie Deplane 操控 Cream，而 Pierre Rouanet 则在为 Wi-Fi 焦头烂额。去关注他们吧！（Antoine @antoinepirrone，Augustin 在 LinkedIn，Matthieu @matth_lapeyre，Coralie @Drenaya_，Pierre 在 LinkedIn）。 我获得关注是因为我经常沟通，但我主要工作于 Reachy Mini（你可能想看看：它是个非常酷的机器人，而且发货比 Microduck 快得多 :)）。我对 Microduck 的贡献微乎其微：我主要是一个首批重度用户。我在 GTC 的主要附加价值是手足够大，能在舞台下搬运四只 Microduck。 我引以为豪的是，Antoine 和 Coralie 是我以前的学生和实习生。因此，我有权终身获得他们所做任何（好）事的 3% 功劳。然而，如果他们做了什么坏事，那显然是他们父母的错。 关于可以在板载上完成的超智能工程：Antoine 刚刚发布了两篇非常酷的博客文章（链接见下）。第一篇关于里程计，即机器人从自身内部传感器估计自己的运动。第二篇关于 SLAM，它允许长期定位：它将深度传感器添加到里程计中，以获得随时间稳定的位置。可以把它想象成识别你家中已知的地标来知道机器人的位置。疯狂的是，所有这些都在机器人上运行。所以这给了我希望，我们能在板载上做很多酷炫的事情。