跳到正文
MIT News · AI· Adam Zewe | MIT News·· 17 小时前AI 评分20

MIT 副教授 Jacob Andreas 研究让深度学习模型用人类语言解释自身

Learning the language of machine learning

AI 导读

MIT 电子工程与计算机科学系副教授 Jacob Andreas 开发技术,让 AI 模型用人类可理解的语言准确说明自己从训练数据中学到了什么,从而替代逐一分析内部处理节点的方式。他的团队还研究如何让训练过程更自然高效,使模型学习方式更接近人类学习,目标是帮助人们设计更准确、更稳健的深度学习模型。

正文 · AI 翻译

在高风险场景中部署深度学习模型时,研究人员希望了解它们是如何工作的。如今,这需要解开一个由内部处理节点构成的极其复杂的网络,以理解模型知道什么以及它在实践中可能如何表现。

Jacob Andreas 更希望让模型自己解释自己。 

这位新近获得终身教职的副教授开发的技术,能够使人工智能模型用人类可以理解的语言,准确地说明它们从训练数据中学到了什么。

“与其需要使用所有这些外部工具来试图理解底层发生了什么,也许我们可以训练模型以一种准确的方式谈论它们自己,”Andreas 说,他是电气工程与计算机科学系(EECS)的副教授,也是计算机科学与人工智能实验室(CSAIL)的成员。

通过研究机器如何理解语言,Andreas 和他的团队致力于构建智能系统,使其能够从人类指导中学习世界知识,并与人类协作者有效沟通。他们开发方法使训练过程更加自然和高效,从而让 AI 模型以更接近人类学习的方式进行学习。

最终,他和他的团队希望帮助人们设计更准确、更稳健的深度学习模型,使其更适合其预期应用。 

“我们过去调试系统只是查看它们的参数,判断这些参数是否合理。现在,我们需要能够接收这种极其复杂的神经计算并为我们翻译的‘读心工具’,因为它根本不属于我们人类懂得如何说的语言,”他说。

对语言的热爱

Andreas 对语言的迷恋在年幼时就萌发了。作为在旧金山湾区长大的孩子,他是一个如饥似渴的读者,任何能拿到手的书都会读。 

其中一本由一位家庭朋友传给他的书,包含一个关键场景:主人公黑入计算机系统以拯救局面。

这激发了他对计算机的兴趣。几年后,他的父亲带回家一个简单的 BASIC Engine,Andreas 可以在家里的电脑上运行它,于是他开始沉浸在计算机编程的世界中。

Andreas 在哥伦比亚大学读本科时选择主修计算机科学,但不确定自己想成为研究员、软件工程师,还是在初创公司工作。

他的朋友们报名参加了教师实验室的研究项目,所以 Andreas 也想试试。

“我给计算机科学系所有从事任何与 AI 稍微相关研究的人群发了邮件,自然语言处理方向的教师最先回复了我。我就这样进入了现在所在的领域,”他说。

在哥伦比亚大学 Vikram S. Pandit 计算机科学教授 Michael Collins 的实验室工作期间,Andreas 完成了一个关于机器翻译的本科论文项目。他的项目涉及将现有的用于表示语言含义的统计技术适配到更强大的 AI 系统中,使其能够翻译文本段落。

“我一直觉得,关于思维如何运作或如何建模世界这些更深层的问题,在语言处理问题中比在当时 AI 研究者从事的其他任务中更接近表面,”他回忆道。

一场巨变

他想要继续探索深层问题,因此Andreas进入加州大学伯克利分校研究生院深造,立志成为一名学术研究者。

在开始博士研究之前,他在英国剑桥大学花了一年时间攻读硕士学位。在那个历史悠久的环境中,他在研究计算翻译问题时受到启发,开始思考语言学习的本质。

这些研究为他后来加入伯克利计算机科学教授Dan Klein的实验室开展研究奠定了基础。

Andreas开始求学时,神经网络正开始兴起。自然语言处理领域正从统计方法向深度学习这一新世界发生一场巨变。

统计方法利用透明的数学公式来分析文本,而深度学习技术则使用不透明的算法,从海量文本数据中自动学习复杂的含义。

“能身处其中经历向现代工具包的这一转变,并且在这一切还很新的时候学习和发明这些东西,非常有趣,”Andreas说。

他开始与计算机视觉实验室的科学家合作,攻克关于语言学习日益复杂的问题。他们共同设计出擅长生成自然语言的人工智能系统,方法是教会这些系统去“看”并理解周围的世界。

“这一切都超级令人兴奋,因为此前确实没有一套通用的工具可以同时处理语言和视觉数据。然后,突然间,神经网络给了我们这种共同语言,”他回忆道。

他完成了一篇关于神经模块网络应用的论文项目,神经模块网络是神经网络的小型片段,在更大的AI系统中执行特定任务,比如定位物体或逻辑推理。但真正驱动他在MIT的团队研究方向的,是他在论文之外着手的一些更具探索性的项目,比如可解释性,以及为AI模型的内部状态创建自然语言描述。

聚焦教职

在初创公司Semantic Machines(从他在伯克利的实验室衍生而来)工作一年后,Andreas于2019年加入MIT教职。

“感觉这是一个绝佳的机会,既能身处AI研究的故乡,与所有这些了不起的资深人士合作,又能做些新的事情,弄清楚机器学习领域的现代时代将会是什么样子,”他说。

他的团队聚焦于两个主要领域。首先,他们研究大语言模型的科学,以理解这些模型在学习和处理信息时所部署的算法。

他们开发的工具帮助科学家和研究人员更好地预测训练好的模型在现实世界中的行为。例如,他们开发的一类技术训练大语言模型,用人类能理解的语言来解释其他神经网络内部正在发生什么。

这些技术可以为大型神经网络中的每个信息处理节点赋予一段自然语言描述。例如,其中一段描述可能代表某个识别输入图像中“动物附近的草丛”的单个节点。

“这项工作为我们提出的一系列更高层次的问题提供了起点,这些问题关乎这些模型如何表示意义,”他说。

另一方面,他的团队设计用于训练机器学习模型的新算法,以及预测特定数据集或样本将如何影响模型行为的不同方面。 

“对于在特定数据集上训练模型时会发生什么,我们还没有一个良好的科学理论。这是该领域当前面临的一大挑战,”他说。

不断变化的环境

AI 发展的速度是他实验室面临的最大挑战之一。Andreas 说,这个领域似乎每三到五年就会彻底改变一次,迫使他保持敏捷,随时准备学习新东西。

同样的困境也延续到了 Andreas 参与联合讲授的 6.461 和 6.861 课程(本科和研究生自然语言处理)中。他和他的同事每年都必须重新设计课程,以跟上最新的发展。

在一个每项作业都可能由大语言模型而非人类学生完成的时代,教授机器学习的技术内容也颇具挑战性。

“我试图让学生们明白,真正深入地打好基础、理解所有这些技术在底层是如何运作的,是他们理解它的唯一途径,也将使他们在一个人人都能使用编码智能体的世界中脱颖而出,”他说。

Andreas 说,变化如此之大,很难预测该领域下一步将走向何方。他预见到,他的团队在可解释性方面的工作将变得更加重要,以便让 AI 智能体等先进系统足够安全,能够在高风险场景中部署。

随着研究人员设计能够助力科学发现的深度学习模型,这一点将尤为明显。这些模型将基于来自研究实验室的大量原始数据进行训练,而这些数据可能尚未被科学家充分理解。 

“弄清楚如何让这些模型将它们所拥有的、关于人们从未明确写过的事物的全部隐藏知识表达出来,将是机器学习从业者面临的巨大挑战和机遇,”他说。

除了应对实验室中的挑战,Andreas 还喜欢以徒步和背包旅行来挑战自我。自童年时代在加利福尼亚起,他就热爱在户外度过时光,每年夏天至少会进行一两次背包旅行。

他和数学系的一位同事正在逐一攀登新罕布什尔州白山所有海拔 4,000 英尺的山峰,进展缓慢但稳步向前。

如今获得了终身教职,Andreas 期待重拾一项旧爱好——在室内合唱团唱歌。他一直热爱音乐,并在剑桥大学期间迷上了教堂合唱团和敲钟。

来源:MIT News · AI · news.mit.edu