MIT 教授 Paris Smaragdis 研究能听会懂的机器听觉系统

球棒击球的脆响伴随着观众的欢呼，即便错过了本垒打的瞬间，也能抓住棒球迷的注意力。人类或许是视觉动物，但我们也通过聆听来感知周围的世界。

为了提升人工感知能力，麻省理工学院教授 Paris Smaragdis（1997 年获理学硕士、2001 年获博士学位）致力于制造出能比人类更好地聆听和理解声音的机器。

一台拥有超人听觉的机器，可以通过聆听轮胎的尖啸声和金属的挤压声，迅速定位交通事故的位置；或者在地热井钻探过程中，识别工业钻头在穿透致密基岩时何时可能断裂。

“我喜欢说，我做的是计算机视觉领域的人所做的同样的事情，只不过我是针对听觉来做，”Smaragdis 说道。他是麻省理工学院的教授，同时受聘于人文、艺术与社会科学学院的音乐与戏剧艺术项目，以及工程学院的电气工程与计算机科学系和麻省理工学院施瓦茨曼计算学院。

他的研究团队探索的领域包括用于声源分离的机器学习、能够增强人类音频环境的智能设备，以及帮助人们理解、操控、分析和创作音乐的更好工具。

“由于有音乐背景，我一直对研究这些想法很感兴趣。要让机器理解声音需要什么？能够聆听的机器有着巨大的应用空间，”2025 年加入麻省理工学院的 Smaragdis 说道。

音乐前奏

Smaragdis 在希腊长大，从小就开始弹古典吉他。他喜欢演奏传统曲目，但当他父亲带回家一台小型合成器时，他的音乐之旅迎来了转折点。

“那台小合成器有一个功能，可以让你创造自己的声音，我完全被这些可能性迷住了，”他说。

20 世纪 80 年代，合成器在流行音乐中占据了更显著的位置，这进一步加深了他对这项技术的着迷。

随着学业进阶，Smaragdis 想学习用合成器创作的音乐。但当时的传统欧洲音乐学院并不提供这样的教育路径。

于是，他进入了波士顿的伯克利音乐学院，加入了一个可以探索使用计算机和合成器来塑造和操控声音的项目。

“借助计算机和合成器，我可以创造出从未被听到过的新声音，”他说。

与此同时，Smaragdis 沉浸在爵士融合乐中。他在伯克利 declared 贝斯为主修专业，因为这样可以有更多机会与爵士乐团合作演奏。

“我发现贝斯在声音上比吉他更有趣。它是一个更少被探索的领域，而我一直倾向于未被探索的领域，”他说。

这种对未知领域的兴趣延续到了他的课程学习中。他和导师、电子制作与设计教授 Richard Boulanger 一起创造了新工具，帮助人们使用计算机来编写、制作和增强音乐。

通过在伯克利的学习，Smaragdis 与麻省理工学院媒体实验室的 Barry Vercoe 教授（他于 2025 年去世）合作开展了一个项目，为音乐创作开发软件合成器。在此基础上，Smaragdis 在 Vercoe 的团队中攻读研究生，完成了硕士和博士学位，随后又做了博士后。

“在媒体实验室，我更多地接触到了计算机音乐中计算机的那部分。我的注意力也因此有所转移。那时我真的很想制造出能理解声音的计算机，”他说。

探索未知领域

当时，媒体实验室的许多学生都在使用信号处理技术来帮助机器处理声音。Smaragdis 选择了一条较少人探索的路径——机器学习——以使自己脱颖而出。

他发现，训练机器学习模型来理解声音，能带来传统信号处理技术无法企及的优势。

“随着时间的推移，我越来越清楚地意识到，我们需要教计算机如何聆听。我们不能只是告诉它们如何聆听。事实上，我们甚至不知道自己人类是如何聆听的，”他说。“我们没有词汇来解释聆听意味着什么，或者如何区分猫的喵喵声和小提琴的声音。”

完成博士后研究后，Smaragdis 开始了在 Mitsubishi Electric Research Labs 的职业生涯，在那里他研究能够扫描视频音轨并理解屏幕上正在发生什么的人工智能系统。

“假设你录制了一整场足球比赛，但你只想看精彩片段。在计算机视觉中，识别什么是精彩片段非常困难。但另一方面，如果你只听声音，那么当人群疯狂时，你就会知道有有趣的事情正在发生，”他说。

该系统最终被整合到电子设备中，包括三菱当时正在开发的一款个人视频录制系统，以及交通监控系统和手机中。

Smaragdis 后来加入了 Adobe，在那里他创建了音频研究团队，构建了用户友好的工具，帮助艺术家、音乐家和制作人无需大量专业知识就能操控声音。

“在做这项工作的过程中，我不断遇到需要解决的更深层次的技术问题。我投身学术界就是为了解决这种渴望，”他说。

Smaragdis 加入了伊利诺伊大学厄巴纳-香槟分校的教职，在那里他和他的团队将最新的机器学习技术融入音频处理系统。

他们开发的技术之一利用神经网络从音频混合中分离出单个声音。该项目引起了正在制作 2021 年纪录片迷你剧《The Beatles: Get Back》的团队的注意。

制作团队邀请 Smaragdis 帮助清理一些披头士的档案录音。

“那是一种与我在学术界所做的非常不同的音频处理方式。现在，我必须做一些听起来不错但不一定在纸面上好看的东西。我们没有可以优化的公式，”他说。

每段录音都涉及不同的挑战。例如，在一个片段中，John Lennon 在演奏音乐，而 Paul McCartney 在胡闹，读着报纸头条并取笑 George Harrison。

“我们试图提出一种能帮助我们完成所有事情的技术解决方案，而不是单独解决每个问题，”他说。

他的贡献帮助团队在 2022 年赢得了非虚构或现实类节目音效剪辑的艾美奖。

协同努力

在伊利诺伊大学工作 15 年后，Smaragdis 决定加入麻省理工学院的教职，以解决该领域出现的棘手的跨学科问题。

他的团队现在专注于两个主要领域。其一，他们开发系统，使计算机成为音乐人更有用的工具。 

该领域的一个项目是让机器理解如何聆听音乐，从而能够为音乐人提供建设性的反馈。

“我们希望增强音乐人已有的工具箱。我们不想用计算机来取代音乐人，”他说。

另一方面，他的团队专注于科学家和艺术家都可以用来处理、分析和操控音频的基础工具。

例如，他的团队最近一直在探索一些算法，这些算法能够实现复杂的信号处理，而传统的参照框架——如采样率、帧大小或上下文窗口——并非固定不变，甚至未被定义。 

Smaragdis说，这意味着一些尚未被探索的不同计算结构，尽管它们在更高效处理方面具有潜力。

“这需要重新思考许多基础知识，但一旦你具备了这种能力，你就可以开始构建更加灵活、更加强大的系统，”他补充道。

他们还探索将大型语言模型等最新技术融入语音识别和音频增强的方法。

“AI是一个极其强大的工具，但我认为我们还没有找到将其用于声音和音乐的理想方式，”他说。

他也乐于指导学生，帮助他们将研究项目的构想变为现实。

由于他的学生中很少有人有在声音中使用计算的经验，他强调动手实践课程，让他们看到并听到如何将方程转化为具体可感的东西。

Smaragdis仍然从创作音乐中感受到兴奋，无论是用计算机还是更传统的乐器。在校外，他尽量抽时间弹奏爵士贝斯，并喜欢与妻子和15岁的儿子一起探索波士顿丰富的音乐社区。

在音乐领域之外，他参与并执教水下曲棍球——这是一项运动员佩戴潜水镜、用球杆将沉重球饼沿池底推向对方球门的运动。他曾执教伊利诺伊大学的水下曲棍球队，并希望很快重振MIT水下曲棍球俱乐部，开始在校园举办比赛。

虽然水下曲棍球可能是一项不太为人所知的运动，但它契合Smaragdis一生对探索未知领域的兴趣。

“我一直喜欢做与其他人不同的事情。如果你能创造出一种没人听过的新声音，这对你创造新事物的能力意味着什么？我仍然觉得这些问题完全令人着迷，”他说。