MIT-IBM 研究:多模态基础模型如何实现更像人的交互与理解
MIT-IBM Computing Research Lab 团队在 Jim Glass 共同带领下研究多模态基础模型的感知与语言关联,针对 GPT-4o 等模型的失败案例开发新基准与少监督方法。团队通过 IPLoc 的伪名替换技术迫使模型关注视觉上下文,并在 OmniR1 研究中发现音频大模型常不看音频、仅凭选项作答。研究还持续发布公开基准,探索无需大量标注数据即可让模型自主学习。
MIT News· Lauren Hinkel | MIT-IBM 计算研究实验室·2026-11-21 05:00· 2 小时前AI 评分41
问答:让多模态基础模型实现更接近人类的交互与理解
AI 导读
MIT-IBM 计算研究实验室团队在 Jim Glass 的共同带领下研究多模态基础模型的感知与语言关联,并针对 GPT-4o 等模型的失败案例开发新基准与少监督方法。
正文 · 原文

人类通过感官信息体验世界并与世界互动。这可能意味着学习鸟鸣声与“知更鸟”一词之间的对应关系,或者能够在人群中通过视觉识别并跟随你的朋友“Sarah”。在许多情况下,人们能够借助其潜在的“多模态”知识——跨越音频、视频、文本或口语等多种数据类型的信息——在很少甚至有时没有任何示例的情况下完成这些任务。
人工智能的多模态基础模型正日益获得模仿这种能力的功能。然而,它们表面上的多模态流畅性往往掩盖了其真实的理解能力。由 MIT 计算机科学与人工智能实验室高级研究科学家 Jim Glass 共同领导的 MIT-IBM 计算研究实验室团队,一直在研究最先进多模态模型的关键失败案例,并开发基准和高效利用数据的方法,以在有限监督下克服这些性能差距。他在以下采访中谈到了这项工作。
问:这个项目的目标是什么,为什么你们选择解决 AI 模型的弱点,而不是扩展到更大的模型?
答:这个项目已经进行了很多年,MIT-IBM 团队大致由相同的语音和视觉专家组成。我们想探索感知(你看到和听到的东西)与语言之间的关系,大体来说:我们以大型语言模型的形式拥有所有这些吸收的知识和语言技能,基于文本,所以我们想知道如何在不使用大量标注训练数据的情况下将它们关联起来。有时模型已经见过某些现象,其内部有某种事物的潜在表示,但也许由于后续的微调或其他原因,它消失了,因此,开发技术试图让这种能力重新显现是一件有用的事情。
当你研究这些公开可用的模型时,即使在大模型中也能看到弱点,所以我认为尝试解决这些局限性很重要。如果你有无限的预算,你可以出去创建你需要的标注,但能够尝试让这些模型更多地自主学习也是很好的。我们通过创建可以评估的新基准,然后开发在这些基准上表现更好的技术,并让这些模型自主学习,从而做到了这一点。在我们的整个研究合作中——这非常是 MIT 和 IBM 之间的紧密合作——我们持续发布供人们使用的公开基准,这是一项持久的成果。
我认为最主要的主题是与语言模型的多模态性,试图解决这些模型的缺点,并试图开发不需要大量标注数据就能更好地完成任务的技术。
问:你能带我们回顾一下这个项目是如何演变的吗?
答:我们最初启动这个项目时,是想构建能够自动学习对应关系的模型,除了告诉机器“这段音频描述对应这张图片”之外,不给它任何额外信息,就像给学语言的孩子读图画书一样。我们只是给它看这些匹配的示例,也给它看不匹配的示例。它就能学会“灯塔”这串声音序列对应一张灯塔的图片,全程不涉及任何文本。
超越语音、纳入通用音频之后,我们开始把目光从静态图像转向视频。我们会训练模型,给它看匹配的视频序列与对应音频流,再看不匹配的,让它重建这些内容。我们还会遮住部分图像或音频,让模型去重建。模型会学到很强的关联;然后,远超语音范畴,它会学到鹦鹉的叫声是什么样的,或者电吉他与木吉他的区别,等等。
后来,当这些大语言模型开始出现时——那还是在早期,大公司还没做这件事之前——我们开始学习音频与语言之间的对应关系。从那时起,这些大型多模态模型变得可用,我们开始研究这些模型的一些局限性,并试图用这些或多或少带监督的技术来改进它们。
问:你认为你工作中近期有哪些亮点?
答:我们的IPLoc 研究关注的是这样一个事实:像 GPT-40 这样的最先进模型,仅凭少量示例无法定位特定物体。我们提出了这样一种技术:用假名替换来训练它。那里有个例子,我们把“airplane”替换成了“Elizabeth”。这迫使模型不再依赖它先前学到的东西,而更加关注视觉上下文。
然后,我们有一篇基于音频的论文OmniR1,研究的是音频大语言模型,也就是能听内容并谈论它们的模型。我们发现的一件令人不安的事是,其中一些基准测试是多项选择答案。很多时候,这些模型并没有真正在听声音,而是几乎在通过看答案来钻题目的空子。这段音频里是什么动物在吼叫——比如花栗鼠、狮子、短吻鳄、山雀之类的?它甚至没有真正注意音频,[而是]直接就说:“哦,狮子。”人们这样做的部分原因是它评估起来简单,而如果你要求文本回答,你就得设法评判它是否准确。你是让人类来评估吗?那可能既昂贵又耗时;还是用另一个语言模型来当裁判?后者也有它自己的一系列问题。应对这个问题的一种方法是在各种不同类型的基准测试上评估这些模型。
我们意识到,你可以输入随机噪声,它们仍然表现得相当好,这说明它们只是在关注问题。于是,我们尝试开发一些方法,让它更关注音频,并尽量减少这种行为。
问: 在资源受限的情况下,你如何调整这些大型基础模型?你使用了哪些不需要大量标注数据的 AI 与算法方法组合?
答:如今,我们无法自行创建这些超大型基础模型。我们没有那样的资源,所以我们倾向于使用现有的模型并尝试调整它们,以弱监督的方式训练它们,也就是不需要那么多数据的方法,比如我们在测试时强化学习方面的工作。
我们的项目并不是 monolithic 的,也就是说我们并非所有人都在做同一件事。更像是百花齐放,所以我们没有某一种特定的方式来推进事情。
问: 在不久的将来,你认为多模态研究在你们的 MIT-IBM 研究团队中会如何演变?
答:多年来,我们大概产出了二十多篇重要的合作论文,在这项工作中,令我惊叹的是机器能够在没有任何告知的情况下学习这些对应关系。在我们之前,从未有人展示过机器能做到这一点。我们早期将音频与大型语言模型结合的一些工作也很有趣:看到模型谈论它听到的内容,然后与它对话。现在,我们开始把这视为理所当然,但在当时,看到这些是很有趣的。
展望未来,在接下来的一年里,通过我们的 MIT-IBM 合作,我们将稍微调整方向,更多地关注所谓的全双工语音对话系统。这些模型在说话的同时也在倾听,所以更像人类的运作方式,这与我们迄今为止所做的联合音视频工作相当不同,后者我们也会继续。
现在,我们将专注于语音方面。这些全双工模型突然成为值得关注的有趣事物,因为它们会让你摆脱目前与这些模型交谈时使用的僵化轮流发言方式。最终,我认为与它们的交互会更自然。
这些全双工模型才刚刚开始出现,其中一些公开可用的模型还不如大型语言模型那么好。它们可以处理一些低层次的沟通技能,但仍然缺少一些东西,比如时间概念或知识深度。所以,我们正在努力解决其中一些问题。
这项研究是与 IBM Research 的 Rogerio Feris、Brian Kingsbury 和 Samuel Thomas 以及图宾根大学的 Hilde Kuehne 的 MIT-IBM 计算研究实验室团队协调进行的,Hilde Kuehne 是 MIT-IBM 的附属研究员。
来源:MIT News · news.mit.edu
来源:RadarAI · aihot.news