MIT 与 NYU 推出 FLEX 平台，让机器人从自然语言指令中理解言外之意

MIT News·2026-11-09 13:00· 39 分钟前AI 评分54

AI 辅助学习平台帮助机器人超越字面指令进行推理

AI 导读

MIT 与 NYU 研究者将在本月 CoRL 上发表 FLEX，一个面向机器人运动规划的特征编辑流程，让机器人从自然语言指令中推理出未明确说明的偏好。FLEX 分三步：Add 将用户提到的物体加入特征列表，Generalize 借助 GPT-4o 从已有特征泛化出更高层规则，如除笔记本电脑外也避开其他电子产品；Mask 用视觉系统删除环境中已不存在的物体，整个流程约五秒。

正文 · 原文

人类天生具有直觉。我们能感知到所遇文字字面之外的含义。如今，MIT 工程师开发的一款新型人工智能辅助学习平台，正让机器人能够从人类的自然语言指令中读出更深层的含义。 

在本月举行的机器人学习年会上，来自 MIT 和纽约大学的研究者将介绍 FLEX，一个用于机器人运动规划的灵活特征编辑流程。 

借助 FLEX，人类可以用自然的对话式语言向机器人下达指令。机器人不仅能按字面执行指令，还能从字词中读出更深层的含义，得出有助于改进其运动规划任务的更广泛的泛化结论。 

团队在多个模拟场景中演示了 FLEX，其中包括一个机器人端咖啡的场景。在这些虚拟场景中，人通过输入自然语言指令与机械臂交互。当机器人端着咖啡杯经过一张杂乱的桌子时，人可能会输入“别洒到笔记本电脑上！”作为回应，机器人会推理为什么它应该避开笔记本电脑。为此，FLEX 集成了一个大型语言模型（LLM）——一种在庞大的文本库（包括社交媒体帖子、视频转录文本和网页内容）上训练的人工智能系统，LLM 利用这些文本识别更大的趋势、模式和泛化规律。 

“LLM 见过互联网上如此多的文本，”研究作者、MIT 计算机科学与人工智能实验室（CSAIL）博士后 Nathan Dennler 说。“人们可能写过，‘哦，我的手机掉水里了，现在坏了’，或者‘我把咖啡洒在电脑上了，现在它坏了’。所以 LLM 领会到了液体加设备会导致东西坏掉这一观念。”

通过 LLM，机器人推理出它也应该避免撞到所有电子产品。在更新后的路径中，机器人会调整路线以同时避开笔记本电脑和旁边的一部手机，而无需人明确说明这一点。

“其理念是，你说的话背后存在某种更高层的意图，”Dennler 说。“人们自然能理解这一点。但你必须仔细向机器人解释，这需要时间和精力。FLEX 为你提供了一个与机器人沟通的界面，让你可以说，‘当人们这样说时，他们指的是那个意思。’”

该研究由 MIT 航空航天学助理教授 Andreea Bobu 领导。共同作者是 SM ’26 的 Audrey Lee 和纽约大学的 Ilia Sucholutsky。

超越我们所说的话

在 MIT，Bobu 领导协作学习与自主研究（CLEAR）实验室，她的团队在那里开发自主智能体，学习为人类、与人类协作以及在人类周围工作。她专注于开发辅助机器人和家用机器人，这些机器人能够执行物理任务，并针对人的自然、对话式指令实时进行推理和适应。 

“机器人用数学来做轨迹规划。但我们不能指望消费者学会做这些数学，才能告诉机器人该做什么，”Dennler 说，他是 CLEAR Lab 的成员。“与其让人们去学习如何以特定方式使用机器人，我们的目标是通过自然语言与机器人交互。”

机器人学界正投入大量精力，将自然语言融入机器人学习流程。各种策略包括用语言澄清任务目标、重定向机器人的轨迹，以及更新其对何为安全路径的理解。这些现有方法用自然语言告诉机器人如何物理执行任务。但机器人有可能从我们告诉它的内容中学到更多。 

Bobu 和她的同事正在拓展机器人能从自然语言指令中学到的东西。在他们的新研究中，他们专注于让机器人从有限的自然语言指令中解读出一个人未明确表达的潜在偏好。  

吸收常识

该团队的新机器人学习平台 FLEX 是一个三步流程，帮助机器人从自然语言指令中读出更多信息，超越其被明确告知要做的内容。 

第一步“添加”，指示机器人根据用户的自然语言指令，将某个特征添加到其环境中与当前任务相关的物品列表中。例如，当机器人把一个保龄球从一个位置移到另一个位置时，一个人可能会插话说“别把它掉在我的杯子上！”机器人随后会把杯子添加到其路径中需要避开的物品列表中。这第一步是此前方法的工作方式。每当人做出一次纠正，机器人就添加到其特征列表，并更新其轨迹以避开这些特征。 

“问题出现在你的特征列表变得超长，而有些特征因为环境可能已经改变而不再相关时，”Dennler 说，他指出如果一个人必须指定每一个要避开的特定特征，这种方法会变得令人厌烦。 

第二步“泛化”，是 FLEX 提供的新解决方案。这一步引入了一个 LLM——在此例中是 GPT-4o——它会考虑杯子，以及此人迄今指定要避开的任何其他特征。该 LLM 自动在其庞大的数据缓存中搜索这些特征之间的模式和关联，最终做出泛化判断：它应当避开易碎物品，即使此人并未明确说明。 

“LLM 已经看过来自互联网、来自各种各样的人和地方的如此多文本，”Dennler 说。“因为它们在这些东西上训练了如此之多，其中一些常识被吸收进了 LLM。”

在第三步“掩码”中，机器人的标准计算机视觉系统评估其环境，以确定哪些物体已不存在，然后将这些物体从其特征列表中删除。整个三步流程大约需要五秒钟。 

团队在模拟环境中测试了 FLEX，让机械臂执行三项不同任务：端一杯咖啡、移动一支蜡烛、搬运一个保龄球。在这三个场景中，志愿者通过输入自然语言指令与虚拟机器人交互，例如“别洒到我的笔记本电脑上”“离那摞纸远点”和“别掉到杯子上”。借助 FLEX，机器人逐字执行了全部三条指令，并且还在更高层面上进行了推理，做到不洒到电子产品上、远离易燃物品，以及不把所搬运的物品掉落到易碎物品上。 

“每个人的家都不一样，每个人在意的事情也不同，所以没有哪个机器人一出厂就知道什么对你重要，”Bobu 说。“FLEX 让我兴奋的地方在于，它能从一两句话里领会这一点，而不是要求你把每条规则都讲清楚——而这正是人们勉强忍受的机器人和他们真正想放在家里的机器人之间的区别。” 

这项工作部分得到了 MIT 生成式 AI 影响力联盟和 MIT 施瓦茨曼计算学院的计算社会与伦理责任项目的支持。

来源：MIT News · news.mit.edu