MIT 副教授 Cathy Wu 用强化学习攻克交通系统优化难题

据她所能回忆起的，Cathy Wu（2012 届本科、2013 届工程硕士）从小就希望找到解决问题的方法来改善人们的生活。她的父母是台湾移民，父亲上班通勤路途遥远，常常不在家。由于预算紧张，家里其他人经常待在家里，而那条街太繁忙，不适合户外玩耍。Wu 和她的兄弟姐妹最终玩了很多电脑游戏。

Wu 说，她让世界变得更美好的愿望、父亲每天与交通拥堵的斗争，以及她玩过的《模拟城市》等游戏，是她立志设计安全、高效交通系统的动力源泉。

Wu 是麻省理工学院土木与环境工程系（CEE）以及数据、系统与社会研究所（IDSS）的副教授，也是信息与决策系统实验室的首席研究员。她的研究重点是利用机器学习和强化学习（RL）来推进可靠策略，以改进包括交通在内的各种复杂系统。

“设计交通系统涉及对数十个、甚至数百或数千个变体进行建模和分析，这意味着用数据驱动的方法来设计这些系统，以今天的工具根本无法实现，”Wu 说。“这就是强化学习所扮演的角色。如果成功，它将解放交通研究人员，并使他们与实践伙伴能够设计出他们想要的系统。”

Wu 将改善人们生活的愿望归功于她的姐姐，而她对交通的兴趣恰好契合这一理想。

“我喜欢交通，因为它连接着每一个人。我们都使用它，都体验它，都对它有意见。所以，在某种程度上，我们都希望这个系统变得更好，”她说。

Wu 在麻省理工学院攻读本科期间，听了已故教授 Seth Teller 关于自动驾驶汽车的讲座后，对将人工智能应用于交通产生了兴趣。Wu 说，Teller 在独立活动期机器人竞赛（Wu 实际上赢得了该竞赛）期间所做的这场讲座，塑造了她对交通研究的独特方法。她开始与 Teller 合作，当 Teller 不再专注于自动驾驶汽车时，他鼓励 Wu 转投曾研究过机器人出租车的 Daniela Rus 教授。

“我非常感激那些帮助我探索这些兴趣、帮助我成为现在这个我的人，”她说，并特别提到了 Teller、Rus，以及“我在 Dropbox 的朋友们”，他们邀请她参加了第二次专注于交通问题的实习。

在麻省理工学院获得硕士学位后，Wu 前往加州大学伯克利分校攻读博士学位。在那段时间里，她观察到交通研究人员花费数年时间开发优化方法，只为对一个系统的新变体进行建模和分析。作为一名计算机科学家，她的方法是开发强化学习和优化方法学来应对交通挑战，这有望带来效率的指数级提升。

2018 年，也就是 Wu 在加州大学伯克利分校攻读博士的最后一年，她成功地将强化学习应用于一个交通问题：自动分析自动驾驶汽车在一系列不同交通网络中对交通流量的潜在影响。这项研究迅速走红。

虽然这对 Wu 来说本可以是一个“其余的都已成为历史”的时刻，但强化学习（RL）却成了一个善变的朋友。Wu 在微软做博士后期间研究 RL 理论，之后回到 MIT 担任教职，她说，吸引她的是 CEE 对可持续性的关注，以及 IDSS 对将数据科学融入其他学科的重视。

然而在接下来的两年里，Wu 进一步将 RL 应用于交通问题的尝试都失败了。

“那段时间压力很大，”Wu 说，“不清楚问题出在我（导师）身上、我的学生身上、交通领域本身，还是 RL 本身。”

尽管如此，早先的研究仍是一个概念验证，证明 RL 可以应用于交通系统。

而在 2022 年，她和她的学生发现 RL 算法如此敏感，以至于在一个问题上有效的算法，即使在与之密切相关的问题上也可能失效。一个关键成果出现在 2023 年，Wu 说她最为之自豪，“因为它就像漫长负面结果隧道尽头的光”。她和她的研究团队设计出一种绕开 RL 敏感性的方法。团队发现，虽然 RL 可能在一组问题中 90% 的问题上训练不佳，但在 10% 的问题上可以训练得相当好。通过在这些能够很好地求解并泛化的问题上训练 RL 模型，所得模型在一组相关问题上的整体表现良好，即使是那些无法通过直接训练解决的问题。研究人员设计了一种算法来确定哪些问题应使用 RL 进行训练，该算法将训练效率提升至多 30 倍，这意味着通常需要 100 个训练模型的工作可能只需要三个模型。

“这项工作让我重拾信心，相信强化学习可以在解决困难优化问题（包括交通领域）中发挥重要作用，”Wu 说。“现在，我团队中相当一部分人研究情境强化学习（contextual RL）这一主题，即 RL 寻求解决一组相关问题的情形。”

Wu 更近期的研究将 RL 应用于解决一个具有重要政策影响的困难交通优化问题：这项工作表明，通过智能控制车速以减少过度停车和启动的生态驾驶措施，可以将车辆排放减少 11% 到 22%。该系统提供了证据，表明实施此类措施的政策可以显著提高系统效率，并且“展示了 RL 可用于为具有实际重要性的问题提供交通政策依据，”Wu 说。

“我非常支持循证政策，并相信它是繁荣民主社会的基础，然而我们的社会系统如此复杂，”Wu 说。“人们可以就什么更好或更差永远争论下去，但我确实相信，有些我们争论的问题可以用数据系统性地分析，并有客观答案。我进入学术界很大一部分原因，就是想更好地理解技术如何支持民主的社会决策。”

Wu 说，她和她的团队在过去几年中所做的大量工作已经产生了算法，“以简化困难优化问题求解器的开发，无论这些问题是与交通相关，还是与其他系统相关，例如物流、供应链、制造和资源分配。”

“这体现了我偏爱的工作风格，”Wu 说，“即所谓的‘应用启发的基础研究’，”她解释说，这类研究针对实际问题，发展出的基础知识往往也能迁移到其他实际问题上。她的学生从探究从安全到拥堵再到无障碍等一系列重要问题入手，找出既有方法的不足之处，并让问题本身来引导研究方向。

与此同时，Wu 在更个人层面上帮助他人的愿望也体现在她的教学中。

“我喜欢和学生一起工作，无论是在课堂上还是在科研指导中，”她说。“当我能教会别人一些东西时——当我看到学生恍然大悟的那一刻——我这一天就值了。”

除了获得学术荣誉，包括 2023 年美国国家科学基金会教师早期职业发展奖之外，Wu 还因其教学和指导而受到正式表彰，包括 2025 年的 Ole Madsen 指导奖。

对于面临极其复杂问题的学生，她有什么建议？

“要有耐心。从小处着手。社会影响是一生的事业，不是几年就能完成的，”Wu 说。“真正理解正在发生什么、真正的问题在哪里，需要很多年。在此期间，尽量做个有帮助的人。保持好奇。多提问。”