MIT 等团队开发 E(3)-Pose:用对称性先验提升胎儿脑 MRI 成像可靠性
MIT、波士顿儿童医院与 Inria 的研究者开发并训练了深度学习模型 E(3)-Pose,可在胎儿头部运动时辅助 MRI 成像,生成供放射科医生查看的高分辨率三维图像。该模型把胎儿头部左右对称性等物理原理嵌入网络架构,而非仅从数据中学习物理规律,从而更准确地识别大脑朝向。相关论文已在 2026 年欧洲计算机视觉会议(ECCV)上展示,目前模型主要基于第三孕期胎儿训练。
MIT News· Alex Ouyang | Abdul Latif Jameel Clinic for Machine Learning in Health·2026-10-20 02:20· 1 小时前AI 评分43
为什么教 AI 理解对称性可以让产前诊断更可靠
AI 导读
MIT、波士顿儿童医院与 Inria 的研究者开发并训练了深度学习模型 E(3)-Pose,可在胎儿头部运动时辅助成像,生成供放射科医生查看的高分辨率三维图像。该模型把胎儿头部的左右对称性等物理原理嵌入网络架构,而非仅从数据中学习物理规律,从而更准确地识别大脑朝向。相关论文已在 2026 年欧洲计算机视觉会议(ECCV)上展示,目前模型主要基于第三孕期胎儿训练。
正文 · 原文
尽管经历了数百万年的进化,人类胎儿的发育仍是一个复杂的过程,容易受到遗传、环境和代谢紊乱的影响。这些紊乱可能导致发育异常,而最早开始发育、并在出生后继续发育的器官之一就是大脑。
在常规产前超声检查中,超声技师会标记出可能的大脑异常,以便进一步进行磁共振成像(MRI)。但成像不完美可能导致漏诊或误诊。
为协助这些异常的早期发现和治疗,MIT、波士顿儿童医院与 Inria 的研究者开发并训练了一个名为 E(3)-Pose 的深度学习模型,可在胎儿头部运动时辅助成像,捕捉高分辨率图像供放射科医生检查。相关论文已在 2026 年欧洲计算机视觉会议上展示。
“胎儿移动带来的问题之一是切片到处都是,”第一作者 Ramya Muthukrishnan 说。Muthukrishnan 是 MIT 电气工程与计算机科学 Sunlin(1966)与 Priscilla Chou 讲席教授 Polina Golland 实验室的博士生,Golland 是 MIT Abdul Latif Jameel Clinic for Machine Learning in Health(Jameel Clinic)和 MIT 计算机科学与人工智能实验室(CSAIL)的首席研究员。
Muthukrishnan 所说的切片,指的是胎儿 MRI 扫描过程中拍摄的一系列二维图像。这些二维平面叠加在一起,实际上构成了胎儿头部的一幅高分辨率三维图像。但如果在成像过程中头部发生移动,每张二维图像“切片”可能来自不同角度,导致最终扫描出现空缺和异常的切片方向。这些问题可能导致审阅 MRI 的医生漏诊或误诊胎儿大脑中的病变。
“有些非常细微的细节,需要非常好的大脑体积图像才能看到,”Muthukrishnan 解释说。“如果有覆盖空缺,你就看不到关键区域,而你需要能够看清才能发现发育异常。”
E(3)-Pose 之所以特别擅长追踪胎儿运动,在于它对物理学的关注。该模型并非简单地通过训练从数据中学习物理规律,而是将物理原理本身嵌入神经网络:胎儿头部的左右对称性被嵌入模型架构,使模型更容易准确识别大脑的朝向。
当 Muthukrishnan 在博士生涯初期开始参与这个项目时,她并没有物理学背景,更不用说 MRI 物理学了。她的经验大多在计算机科学领域。“当我不得不在扫描仪上实现这个时,我很惊讶,”她回忆道。“我没有准备好会那么多次让扫描仪崩溃,因为在硬件上部署并让它正常工作,与训练一个模型在 GPU 上处理数据是完全不同的挑战。”
尽管面临挑战,Muthukrishnan 坚持了下来。她记得在博士初期跟随一位在波士顿儿童医院进行胎儿 MRI 扫描的放射科医生,观察到患者和放射科医生共同的沮丧:怀孕的母亲在 MRI 中待了一个小时后感到不适,结果中途放弃了扫描;放射科医生无法获得完整、高质量的 MRI 来监测胎儿的发育。
“看到对此的沮丧帮助我决定我想用我的博士研究做什么,因为感觉这是一个痛点,”Muthukrishnan 说。
幸运的是,她得到了帮助:共同作者 Borjan Gagoski,哈佛医学院放射学助理教授和波士顿儿童医院的研究员,开发了一个序列,获取额外的 MRI 扫描以协助训练 E(3)-Pose,并与 Muthukrishnan 合作,在扫描仪崩溃时帮助排除故障。共同作者和波士顿儿童研究助理 Aryn Lee 招募了怀孕志愿者,并协助获取每次 MRI 扫描。帮助指导项目的资深作者包括 Elfar Adalsteinsson,MIT 电气工程和计算机科学教授;Ellen Grant,Käthe Beutler 儿科教授和哈佛医学院放射学教授;以及 Golland。Benjamin Billot,Inria 的研究员和 Golland 小组的前博士后,帮助 Muthukrishnan 开始使用他开发的初始方法。
“Ramya 的工作优雅地将等变性和对称性等几何概念与深度学习的力量相结合,改变 MRI 扫描仪获取图像的方式,并最终帮助医生在发育早期检测和治疗问题。这是一个令人印象深刻的研究项目,在建模图像获取方面深入且基础,具有明确的临床影响,”Golland 说。
Grant,波士顿儿童医院胎儿新生儿神经成像和发育科学中心 (FNNDSC) 的主任,补充说 Muthukrishnan 的工作“将自动化胎儿脑 MRI,用更快、更舒适的扫描取代今天缓慢的手动过程,同时为放射科医生提供更高质量的图像来解读。”
E(3)-Pose 的应用可能超越胎儿 MRI 的运动跟踪。它可以帮助成像其他难以成像的解剖结构,甚至自动驾驶应用,其中有限的传感器需要捕获噪声大的 3D 数据以跟踪 3D 物体。
目前,Muthukrishnan 希望改进 E(3)-Pose,以便它可以帮助成像第二孕期或更小的胎儿,因为该模型主要训练于第三孕期胎儿。第二孕期胎儿“非常小,它们移动得更多,因为子宫里有更多空间,”Muthukrishnan 说。“它们更值得关注,因为你越早检测到大脑异常,就越容易干预。”
本工作得到了 MIT Jameel Clinic、MIT Takeda Program、Chou Family Transformative Research Fund、美国国家生物医学成像与生物工程研究所,以及尤妮斯·肯尼迪·施莱弗国家儿童健康与人类发展研究所的支持。
来源:MIT News · news.mit.edu
来源:RadarAI · aihot.news