MIT 团队推出 FLEX：让机器人从自然语言指令中读懂言外之意

人类天生具有直觉。我们能够感知到所遇文字字面之外的含义。如今，麻省理工学院工程师开发的一款新型人工智能辅助学习平台，使机器人能够从人类的自然语言指令中解读出更丰富的含义。 

在本月即将举行的机器人学习年会上，来自麻省理工学院和纽约大学的研究人员将介绍FLEX，这是一种用于机器人运动规划的灵活特征编辑流程。 

借助FLEX，人类可以用自然、对话式的语言向机器人下达指令并与之互动。机器人不仅能按字面意思遵循指令，还能深入解读话语，得出更广泛的概括性理解，从而帮助改进其运动规划任务。 

团队在多个模拟场景中演示了FLEX，其中包括一个机器人端送咖啡的场景。在这些虚拟场景中，人通过输入自然语言指令与机械臂互动。当机器人将咖啡杯移过一张杂乱的桌子时，人可能会输入“别洒到笔记本电脑上！”作为回应，机器人会推理为什么它应该避开笔记本电脑。为此，FLEX集成了一个大型语言模型（LLM）——这是一种在庞大文本库（包括社交媒体帖子、视频转录文本和网络内容）上训练的人工智能系统，LLM利用这些内容来识别更大的趋势、模式和概括性规律。 

“LLM看过互联网上如此多的文本，”研究作者、麻省理工学院计算机科学与人工智能实验室（CSAIL）博士后Nathan Dennler说。“人们可能写过，‘哦，我的手机掉水里了，现在坏了’，或者‘我把咖啡洒在电脑上了，现在它坏了’。所以LLM领会到了液体加设备会导致东西损坏这一观念。”

通过LLM，机器人推理出它也应该避免撞到所有电子设备。在更新后的路径中，机器人会调整路线以同时避开笔记本电脑和旁边的一部手机，而无需人明确说明这一点。

“其理念是，你说的话背后存在某种更高层次的意图，”Dennler说。“人们自然能理解这一点。但你必须仔细向机器人解释，这需要时间和精力。FLEX为你提供了一个与机器人交流的接口，让你可以说，‘当人们这样说时，他们指的是那个意思。’”

这项研究由麻省理工学院航空航天学助理教授Andreea Bobu领导。共同作者包括SM ’26的Audrey Lee和纽约大学的Ilia Sucholutsky。

超越我们所说的话

在麻省理工学院，Bobu领导着协作学习与自主研究（CLEAR）实验室，她的团队在那里开发能够学习为人类、与人类以及围绕人类工作的自主智能体。她专注于开发辅助机器人和家用机器人，这些机器人能够执行物理任务，并针对人的自然、对话式指令进行实时推理和适应。 

“机器人用数学来进行轨迹规划。但我们不能指望消费者学会做这些数学运算才能告诉机器人该做什么，”CLEAR实验室成员Dennler说。“与其让人们学习如何以特定方式使用机器人，目标是让人类通过自然语言与机器人互动。”

机器人学界正投入大量精力，将自然语言融入机器人学习流程。各种策略包括利用语言明确任务目标、调整机器人的运动轨迹，以及更新其对何为安全路径的理解。这些现有方法都是用自然语言告诉机器人如何具体执行任务。但机器人其实有可能从我们告诉它的内容中学到更多东西。 

Bobu 和她的同事正在拓展机器人能从自然语言指令中学到的内容。在他们的一项新研究中，他们专注于让机器人从有限的自然语言指令中解读出一个人潜在的、未明确表达的偏好。  

吸收常识

该团队的新机器人学习平台 FLEX 是一个三步流程，帮助机器人从自然语言指令中读出更多信息，而不仅仅是它被明确告知要做的事。 

第一步“添加”（Add），指示机器人根据用户的自然语言指令，将某个特征添加到其环境中与当前任务相关的物品清单中。例如，当机器人把一个保龄球从一个位置搬到另一个位置时，有人可能会插话说：“别把它掉在我的杯子上！”机器人随后就会把杯子加入其路径中需要避开的物品清单。这第一步正是以往方法的做法。每当人做出一次纠正，机器人就扩充其特征清单，并更新轨迹以避开这些特征。 

“问题在于，当你的特征清单变得超级长，而有些特征因为环境可能已经改变而不再相关时，”Dennler 说。他指出，如果一个人必须逐一指定要避开的每个具体特征，这种方法会变得令人厌烦。 

第二步“泛化”（Generalize），是 FLEX 提供的新解决方案。这一步引入了一个 LLM——在此例中是 GPT-4o——它会考虑杯子，以及此人迄今指定要避开的任何其他特征。该 LLM 自动在其庞大的数据缓存中搜索这些特征之间的模式和关联，最终做出泛化推断：它应当避开易碎物品，即使此人并未明确说明。 

“LLM 已经看过互联网上来自形形色色的人和地方的如此多文本，”Dennler 说。“因为它们在那些东西上训练了那么多，其中一些常识就被吸收进了 LLM。”

在第三步“掩码”（Mask）中，机器人标准的计算机视觉系统会评估其环境，确定哪些物体已不存在，然后将这些物体从其特征清单中删除。整个三步流程大约需要五秒钟。 

该团队在模拟环境中测试了 FLEX，让机械臂执行三项不同任务：端一杯咖啡、移动一支蜡烛，以及搬运一个保龄球。在所有三个场景中，志愿者通过输入自然语言指令与虚拟机器人互动，例如“别洒到我的笔记本电脑上”“远离那摞纸”和“别掉在杯子上”。借助 FLEX，机器人字面执行了所有三条指令，同时还在更高层面上进行推理：不要洒到电子产品上、远离易燃物品、不要把货物掉在易碎物品上。 

“每个人的家都不一样，每个人在意的事情也不同，所以没有哪个机器人一开箱就知道什么对你重要，”Bobu说。“FLEX让我兴奋的地方在于，它可以从一两句话里领会这一点，而不是要求你把每条规则都讲清楚——而这正是人们勉强忍受的机器人和他们真正想放在家里的机器人之间的区别。” 

这项工作部分得到了MIT生成式AI影响力联盟以及MIT Schwarzman计算学院计算的社会与伦理责任项目的支持。