魏茨曼研究所 Brain-IT 模型仅需一小时脑扫描即可重建所见图像

The stadium is full, the ball is in the air – and all eyes are fixed on the batter poised to swing his baseball bat. It’s a scene rich in detail and symbolic meaning, instantly recognizable to fans. A “mind-reading” AI model called Brain-IT, developed in the lab of Prof. Michal Irani at the Weizmann Institute of Science, can reconstruct this scene based solely on the brain activity of a person viewing it. Brain-IT has learned to identify brain activity patterns that recur across brain regions of different people as they process images, allowing it to learn to “read” a new person with unprecedented speed and extraordinary accuracy.

近年来，科学家们已成功利用个性化AI模型帮助严重瘫痪患者恢复说话能力，这些模型基于对患者数十小时脑活动记录的训练。这些技术改变了人们的生活，但它们仍远未达到读心的程度，因为它们是为特定个体量身定制的，且需要大量训练。相比之下，Brain-IT识别的是我们所有人共有的脑活动模式，并将其转化为图像。

“如今已有一些将脑活动转化为图像的模型，它们甚至能产生令人印象深刻的重建结果，相当好地保留图像的语义含义，”Irani说。“然而，它们往往在构图和色彩等基本特征上出错。我们开发的新模型在重建图像内容及其细节方面均优于它们。更重要的是，其他所有模型都需要数十小时的脑部扫描才能学会‘读取’一个新人，而我们的模型只需要一小时。”

开发Brain-IT的道路充满挑战——该模型今年被选中在国际学习表征会议（ICLR）上进行展示，这是全球领先的AI会议之一。Irani团队——魏茨曼计算机科学与应用数学系的Roman Beliy、Amit Zalcher、Jonathan Kogman和Navve Wasserman——不得不应对数据严重短缺的问题。

训练这样一个AI模型以达到最佳性能，需要大量图像，并配以参与者观看这些图像时记录的功能性磁共振成像（fMRI）脑活动扫描。但要创建这样的数据集，研究人员必须让大量参与者长时间待在幽闭的MRI机器中。因此，该领域研究人员目前可用的最大数据集仅包含不超过八个人的fMRI扫描，每人观看了数千张图像——对于训练AI算法而言，这并不算多。

Irani和她的团队针对样本稀缺问题设计的解决方案类似于一本双向双语词典。他们不仅开发了一个从fMRI扫描中学习重建图像的“解码器”，还开发了一个从图像中学习预测fMRI扫描的“编码器”。

在训练过程中，编码器识别出128个所有人共有、在图像处理中发挥特定功能的功能区域

“我们意识到，通过来回翻译——从一张从未在 fMRI 机器中查看过的随机图像，到预测的脑部扫描，再回到我们开始时的图像——模型实际上会为自己构建一个庞大的数据集，”Irani 解释道。“计划是向编码器输入从未在 MRI 扫描仪中展示给人的图像，为它们生成估计的脑部扫描，并将这些扫描传递给解码器，解码器将尝试从中重建原始图像。通过这种方式，在训练过程中，模型将学会生成能有效编码图像的扫描，即使这些 fMRI 扫描实际上从未进行过。”

开发编码器的主要挑战是个体大脑之间的差异：同一张图像可以在不同的人身上引发不同的活动模式。解决方案是将问题分解为其组成部分。研究人员没有试图将图像编码为整个脑部扫描，而是将大脑分成大约 40,000 个“大脑体素”——微小的三维体积单位——并测量每个体素对不同图像的反应。同时，他们使用 AI 模型从图像中提取基本视觉特征，如颜色和位置，以及反映图像含义的语义特征——例如，食物或人脸。在这种细节水平上，跨不同大脑重复出现并与特定图像特征相关的脑活动模式开始显现——这一发现使得构建通用大脑编码器成为可能。

通往读心之路

大脑编码器远不止是开发解码器过程中的一个技术步骤。“在训练过程中，编码器自然地识别出所有人共享的 128 个功能区域，这些区域在图像处理中发挥特定作用，”Irani 解释道。“其中一些为神经科学家所熟悉，但另一些则完全是新的。例如，我们发现了处理地点图像的大脑区域——PPA——内部存在角色分工，一部分对室内场景做出反应，另一部分对室外场景做出反应。”

“编码器的优势在于它能够识别不同大脑中执行类似功能的区域，即使它们的解剖位置不同，”她补充道。“另一个优势是它能够以受控方式测试不同特征。例如，你可以向它输入同一张图像的彩色和黑白版本，识别预测的 fMRI 扫描之间的差异，并由此推断颜色在大脑中的编码位置。未来，编码器还可以帮助我们理解不同区域如何协同工作以及感知如何形成。”

Irani 的实验室现在正致力于将这些“读心”方法扩展到听觉信息的解码。视频可能是另一个前沿。“仍然特别具有挑战性的是解码视频——例如，在梦中，”她解释道。“每秒有数十张图像变化，而一次 fMRI 扫描大约需要两秒钟。如果我们克服所有这些障碍，未来我们甚至可能能够读取梦境。”

科学数字

研究中使用的公开自然场景数据集包含 8 名参与者的 fMRI 扫描数据，每人都观看了数千张图像。汇编该数据集极其耗费人力：每位参与者参加了 30 到 40 次扫描会话。每次会话包括 6 次 fMRI 扫描，每次持续约 10 分钟，在每次扫描中，参与者观看大约 40 张图像。最终数据集包含约 73,000 对图像-fMRI 数据。

我们的新闻通讯

新前沿，直达您的收件箱