MIT 等机构提出 E(3)-Pose：把对称性物理原理嵌入深度学习，提升胎儿脑部 MRI 成像可靠性

尽管经历了数百万年的进化，人类胎儿的发育仍然是一个复杂的过程，容易受到遗传、环境和代谢紊乱的影响。这些紊乱可能导致发育异常，而最早在胎儿体内开始发育、并在出生后继续发育的器官之一便是大脑。

在常规产前超声检查中，超声技师会标记出可能的大脑异常，以便进一步进行磁共振成像（MRI）检查。但不完美的成像可能导致漏诊或误诊。 

为协助这些异常的早期发现和治疗，麻省理工学院、波士顿儿童医院和Inria的研究人员开发并训练了一个名为E(3)-Pose的深度学习模型，该模型有助于在胎儿头部运动时对其进行成像，从而捕捉到放射科医生可以检查的高分辨率图像。关于这项工作的论文已在2026年欧洲计算机视觉会议上发表。 

“胎儿移动带来的问题之一是，切片到处都是，”第一作者Ramya Muthukrishnan说。Muthukrishnan是麻省理工学院博士生，在Sunlin（1966）和Priscilla Chou电气工程与计算机科学教授Polina Golland的实验室工作，Golland是麻省理工学院Abdul Latif Jameel健康机器学习诊所（Jameel Clinic）和麻省理工学院计算机科学与人工智能实验室（CSAIL）的首席研究员。

Muthukrishnan所说的切片，指的是胎儿MRI扫描过程中拍摄的一系列2D图像。这些2D平面叠加在一起，实际上构成了胎儿头部的一幅高分辨率3D图像。但如果在成像过程中头部发生移动，每张2D图像“切片”最终可能从不同角度拍摄，导致最终扫描出现缺口和切片方向异常。这些问题可能导致审阅MRI的医生漏诊或误诊胎儿大脑中的病变。

“有些非常精细的细节，你需要非常好的大脑体积图像才能看到，”Muthukrishnan解释说。“如果有覆盖缺口，你就看不到关键区域，而你需要能够看清才能发现发育异常。”

E(3)-Pose之所以特别擅长追踪胎儿运动，是因为它注重物理学。该模型并非仅仅通过训练从数据中学习物理规律，而是将物理原理本身嵌入神经网络：胎儿头部的左右对称性被嵌入模型架构中，使模型更容易准确识别大脑的方向。 

Muthukrishnan在博士初期开始参与这个项目时，并没有物理学背景，更不用说MRI物理学了。她的大部分经验都在计算机科学领域。“当我不得不在扫描仪上实现这个时，我很惊讶，”她回忆道。“我没料到我会那么多次让扫描仪崩溃，因为把东西放到硬件上并让它在硬件上运行，与训练一个模型在GPU上处理数据是完全不同的事情。” 

尽管困难重重，Muthukrishnan 仍坚持不懈。她记得在博士生涯初期，曾跟随一位在波士顿儿童医院进行胎儿 MRI 扫描的放射科医生，目睹了患者和放射科医生共同的挫败感：怀孕的母亲在 MRI 中待了一小时后感到不适，结果扫描到一半就放弃了；而放射科医生则无法获得完整、高质量的 MRI 来监测胎儿的发育情况。

“看到人们对这件事的沮丧，帮助我决定了我博士期间想做什么，因为感觉这是一个痛点，”Muthukrishnan 说。

幸运的是，她得到了帮助：共同作者、哈佛医学院放射学助理教授兼波士顿儿童医院研究员 Borjan Gagoski 开发了一种序列，可采集额外的 MRI 扫描来辅助训练 E(3)-Pose，并与 Muthukrishnan 合作，在扫描仪崩溃时帮助排查故障。共同作者、波士顿儿童医院研究助理 Aryn Lee 招募了怀孕志愿者，并协助完成了每一次 MRI 扫描的采集。指导该项目的资深作者包括麻省理工学院电气工程与计算机科学教授 Elfar Adalsteinsson；哈佛医学院 Käthe Beutler 儿科教授兼放射学教授 Ellen Grant；以及 Golland。Inria 研究员、Golland 团队前博士后 Benjamin Billot 帮助 Muthukrishnan 入门了他最初开发的方法。

“Ramya 的工作优雅地将等变性和对称性等几何概念与深度学习的力量相结合，改变了 MRI 扫描仪采集图像的方式，并最终帮助医生在发育早期发现和治疗问题。这是一个令人印象深刻的研究项目，它在建模图像采集方面既深入又基础，具有明确的临床影响，”Golland 说。

Grant 是波士顿儿童医院胎儿新生儿神经影像与发育科学中心（FNNDSC）的主任，她补充说，Muthukrishnan 的工作“将实现胎儿脑部 MRI 的自动化，用更快、更舒适的扫描取代当今缓慢的手动流程，同时为放射科医生提供更高质量的图像以供解读。”

E(3)-Pose 的应用可能不仅限于胎儿 MRI 的运动追踪。它还可以协助对其他难以成像的解剖结构进行成像，甚至可用于自动驾驶应用，在这些应用中，有限的传感器需要捕获带噪声的 3D 数据，以便追踪 3D 物体。

目前，Muthukrishnan 希望改进 E(3)-Pose，使其能够帮助对孕中期或更小的胎儿进行成像，因为该模型主要是在孕晚期胎儿上训练的。孕中期胎儿“非常小，因为子宫里有更多空间，所以它们动得更多，”Muthukrishnan 说。“更值得关注它们，因为你越早发现大脑异常，就越容易进行干预。” 

这项工作得到了 MIT Jameel Clinic、MIT Takeda Program、Chou Family Transformative Research Fund、美国国家生物医学成像与生物工程研究所，以及尤妮斯·肯尼迪·施莱弗国家儿童健康与人类发展研究所的支持。