MIT 新系统 UQ-DAAAM 帮机器人纠正模糊记忆

在紧急情况下，人类有朝一日可能会让机器人助手去取一个安装在走廊尽头墙上的除颤器。但如果机器人在其存储记忆中错误地将除颤器标记为灭火器，它可能就不知道去哪里找这个救生设备。

这个机器人助手可以从 MIT 研究人员创建的一种新记忆系统中受益。该系统能识别机器人记忆中可能出错的条目，并纠正被错误标记物体的描述。 

未来，这种方法可以让家用或工业机器人更好地执行复杂的多步骤任务，例如清理餐桌，或与人类协作者一起组装一台机器。 

该系统名为 UQ-DAAAM（代表“任意时刻、任意地点、任意对象描述的不确定性量化”），它会比较从不同视角看到的同一物体的多种描述，以量化机器人对所见内容的不确定性。 

然后，它选择额外的视角来降低不确定性，并将这些描述合并为对物体更准确的描述，再将其保存到记忆中。

研究人员还采用了一种特殊技术来简化这一过程，使移动机器人能够实时持续更新不确定的记忆条目。 

与基线方法相比，UQ-DAAAM 提升了机器人的置信度，并提高了其回答有关物体、物体位置以及何时看到这些物体的问题的准确性。 

“与 ChatGPT 不同，当我们思考物理 AI 时，仅仅加上一条免责声明、提醒机器人有时可能会出错是不够的。让机器人知道自己不知道什么，对于这项技术安全部署并对社会产生积极影响至关重要，”MIT 航空航天系（AeroAstro）副教授、信息与决策系统实验室（LIDS）首席研究员、MIT SPARK 实验室主任、介绍 UQ-DAAAM 的论文资深作者 Luca Carlone 说。

与他共同撰写该论文的还有共同第一作者、MIT 研究生 Harry Zhang 和 Nicolas Gorlo。这项研究将在神经信息处理系统大会上展示。 

修正记忆

这项新方法建立在研究人员先前的工作 DAAAM 之上。DAAAM 是一种机器人记忆系统，它使用视觉语言模型（VLM）丰富地描述机器人通过机载摄像头拍摄场景中的物体。这些描述以详细说明文字的形式存储在机器人环境的 3D 地图表示中，机器人之后可以调用它来回答问题。 

但机器人有时只能部分看到物体，或从远处看到物体，或者其摄像头可能拍到模糊或光线不佳的图像。在这些情况下， DAAAM 可能会错误地描述这些物体，例如把灰色烟囱误认为栖息在屋顶上的松鼠。

“由于无法自我纠正，这个错误记忆会在机器人在环境中行进时持续存在，这可能影响下游应用，”Zhang 说。

UQ-DAAAM 将不确定性量化集成到 DAAAM 框架中。它使机器人能够衡量自己对物体描述准确性的置信度，并在穿行环境时修正错误的说明文字。

在移动过程中，机器人不断收集并存储周围世界的图像。这些图像中有许多是从不同角度拍摄的同一物体。UQ-DAAAM 利用这些额外的视角来识别并纠正不可靠的描述。

首先，它计算 VLM 在生成用于描述可能被错误标注物体的词语时的置信水平。然后，它通过将该描述与从不同视角描述同一物体的图像说明进行比较，来衡量一致性。

“我们将这两种不确定性来源融合为一个数字，该数字反映了 VLM 对其对物体整体理解的确信程度，”Carlone 解释道。

如果该数字超过某个阈值，说明不确定性过高，UQ-DAAAM 将利用该物体的额外图像来改进说明。

它使用一种启发式方法（即简单规则）来确定哪些额外视角能够降低机器人对该物体的不确定性。例如，它可能会选择几帧之后拍摄的一张清晰显示烟囱冒烟的照片。 

研究人员从数学上证明，这种启发式方法能够在不重新运行 VLM 的情况下找出最佳帧进行选择，从而大幅减少计算量。 

“Nico 和 Harry 必须克服的关键挑战是，如何将 VLM 与不确定性量化相结合，使其能在一台移动中的机器人上以几分之一秒的速度运行，”Carlone 说。

带着信心去记忆

一旦确定了能够降低其对物体不确定性的额外说明，系统就会使用 LLM 将它们融合为单一的物体描述。为提高准确性，LLM 会赋予新说明和歧义较少的说明更高的权重。

这一改进步骤能够解决机器人环境中约 92% 的物体的歧义，而每个物体仅需两条额外说明。与当前最先进的方法相比，它将物体描述的准确性提高了 5%。

对于其所观察到的物体、观察地点以及最后一次遇到它们的时间等问题，UQ-DAAAM 也比基线方法提供了更准确的答案。

“在机器人生成的整个地图上执行这一不确定性量化流程，使其能够提升对所观察事物的理解，”Gorlo 说。

接下来，研究人员希望使用 UQ-DAAAM 来指导不同类型的机器人，例如移动机械臂，并将其不确定性量化技术应用于其他领域。 

此外，他们正在研究使用 UQ-DAAAM 来识别机器人可以重新访问的高不确定性区域，以提升其对环境的理解。他们还在探索在预测机器人环境未来状态的系统中进行不确定性量化。

这项研究部分得到了美国陆军研究实验室和美国海军研究办公室的支持。Carlone 目前正以亚马逊学者身份休假；本文描述的是在 MIT 进行的工作，与亚马逊无关。