MIT LIDS 新方法让 AI 混沌系统模型保持物理一致性
New approach enables physically consistent AI models of chaotic systems
MIT 信息与决策系统实验室(LIDS)提出一种硬约束方法,通过让模型学习能量类函数并加入投影层强制能量耗散,从理论上保证混沌系统预测在任意长的时间窗口内始终有界。该研究首次为混沌机器学习模型建立此类形式化保证,成果发表于 PNAS,相关数据已免费公开。
译文尚不完整,完整内容请切换到原文。
近年来,对天气和气候模式以及航空或洋流中的湍流等复杂混沌过程的建模已取得巨大进展。然而,此类模型仍容易随时间推移而漂移进入物理上不可能的预测。
如今,麻省理工学院信息与决策系统实验室(LIDS)的研究人员找到了一种方法,可以对机器学习模型引入基于物理的约束,从而确保此类模型基于现实世界中实际可能的情况,永远不会超出合理的边界。这种新方法使用了该团队目前免费提供的信息,可以显著提高此类模型的实用性和可靠性;除气候和天气外,这些模型还广泛应用于各种工业过程、航空学和水文学。
The new findings are published in the Proceedings of the National Academy of Sciences (PNAS) in a paper by MIT graduate student Sunbochen Tang and MIT professors Navid Azizan and Themistoklis Sapsis.
“对有界响应缺乏保证,一直是构建复杂非线性系统数据驱动模型的主要障碍,”Sapsis 说,他是机械工程教授兼 LIDS 附属成员。他表示,该团队开发的方法“为将最先进的机器学习架构应用于大量现实问题中的预测和控制铺平了道路,甚至包括那些具有内在不稳定性的问题。”
为复杂动力系统开发可靠模型在许多领域都很重要。 在流体动力学中,湍流可能扰乱航空旅行、降低风力涡轮机的效率,并影响车辆的燃油经济性。同样,在天气预报中,大气动力学的混沌本质使准确的长期预测变得困难。
“初始条件的微小差异在混沌系统中可能导致截然不同的结果,”Azizan 说。“这使得预测其遥远未来的行为极其困难。”然而,现实世界中可能发生的变化类型始终存在物理约束。
“混沌并不意味着任何事情都可能发生。这些系统通常保持有界,它们的模型也应如此。”但 Azizan 表示,如何将这些边界引入模型一直是个棘手的问题。他是机械工程系以及数据、系统与社会研究所的 Hayes 副教授,也是 LIDS 的首席研究员。
“模型可以在短期内与数据吻合,但让它运行很长时间后仍会失败,”他说。“小误差可能累积,直到模拟产生无限增长的值”,从而产生在真实系统中永远不可能实际发生的预测。
“这是许多现有机器学习模型的一个根本问题,”他说。“这个问题在不同领域频繁出现:我们如何将物理约束嵌入这些模型,既保持其灵活性,又确保输出具有物理意义?”
“我们希望保留混沌,而不引入真实系统并不存在的人为失控行为,”他说。“我们的方法为模型留出学习复杂动力学的空间,同时保证其轨迹保持有界。”这是首个为混沌的机器学习模型建立此类形式化保证的工作。
Tang 是航空航天系和 LIDS 的博士生,他表示,此前防止此类模型产生不切实际结果的尝试,往往基于“在训练期间施加惩罚或激励”,所使用的函数通常是根据有关系统的特权信息设计的。但由于这些只适用于模型的训练过程,“无法保证模型在实际使用中处理新输入时,在测试时能满足此类激励所意图的底层约束”。“模型仍可能产生无界的预测,”他说。
为了说明为什么仅仅施加任意限制并不能令人满意地解决预测稳定性问题,Tang 解释道:“你可以对预测设上限,例如对物理量设定任意限制,比如温度设为 100 度。这是一种让预测保持有界的方法,但它可能限制模型表达那些应当直接从数据中学到的复杂且非平凡的特征。”
他说:“我们方法的独特之处在于,我们构建了基于能量的约束。我们让模型学习一个类能量函数”,其依据是真实世界的混沌系统,在这些系统中能量耗散有助于在复杂行为下保持轨迹有界。“具体来说,模型学习一个类能量函数,以及一个应将其混沌行为限制在其中的边界。然后我们添加一个投影层,这一组件调整模型对系统演化的预测方式,以将能量耗散作为硬约束强制执行。在该边界之外,类能量量必须减少,因此模拟系统会被拉向有界区域。这样,我们就能建立理论保证,使模型预测在任意长的预测窗口内保持有界。”
团队在从简单教科书案例到高度复杂多维系统的各种知名物理系统上测试了他们的方法,发现他们的方法与真实结果高度吻合,而传统方法很快就偏离为不可能的预测。
Azizan 补充说:“我们方法与现有方法的根本区别在于我们所说的硬约束与软约束。”当前许多方法“试图激励模型满足约束,但它们并未被视为硬约束。我们的方法基于硬约束神经网络的概念”,因此输出“始终在物理上保持一致,即使这是模型从未见过的全新情况。”
“AI 模型在可获得大量数据的场景中表现出色,”Azizan 说,例如图像或文本,这两者在互联网上都有大量可用数据。然而,他说,“对于许多物理系统,数据并不那么丰富。”对于数据有限的此类情况,他说,“这些物理约束方法可以大有帮助,因为问题的物理特性是另一个信息来源。”
新方法广泛适用于任何混沌系统。“这很容易适用于广泛的神经网络架构,”Tang 说。他们计划继续在越来越大的系统上测试它。“我们正试图看看这在真实天气系统的数据驱动模型上效果如何。”
“投影层是模块化的:它与模型无关,可以适配不同的神经网络架构,”Azizan 说。“我们希望其他研究人员和从业者能在此基础上继续推进,并在更大、更复杂的问题上测试它。”该论文以及开源代码现已在 PNAS 上线。
今年,团队成员在 Learning for Dynamics and Control 会议上展示了一项后续工作。该论文获得了会议的最佳论文奖。
“可信且可靠的人工智能需要的不仅仅是模型通常有效的证据,”Azizan 说。“对于高风险应用,你需要关于必须始终成立的属性的保证。在这项工作中,我们确立了这样一项保证:有界性。我们更广泛的目标是让原则成为人工智能模型构建方式的一部分,而不仅仅是测试方式的一部分。”
来源:MIT News · AI · news.mit.edu