arXiv cs.AI· Yiming Yao, Fei Liu, Liang Zhao, Xi Lin, Yilu Liu, Qingfu Zhang·· 1 天前AI 评分29
FoMEMO：面向昂贵多目标优化的基础模型
FoMEMO: Towards Foundation Models for Expensive Multi-objective Optimization
AI 导读
FoMEMO 提出用分解式训练范式把多目标优化转成偏好聚合后验学习任务，可在数亿条合成数据上规模化预训练，无需大量真实领域实验。测试时模型基于未见问题的观测轨迹与用户偏好做上下文后验预测，并优化推导出的采集函数生成候选，无需后续训练或更新。该工作已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：昂贵多目标优化在许多现实场景中是一个普遍且关键的问题，由于用于恢复真实帕累托前沿以进行决策的评估次数有限，样本效率至关重要。现有工作要么针对每个新遇到的问题从头反复拟合高斯过程代理模型，要么依赖计算开销巨大的面向超体积的策略学习来实现摊销优化，这使得实现可扩展的预训练以及对多样化的新兴现实应用进行高效而稳健的适应变得困难。为应对这些挑战，我们提出 FoMEMO（面向昂贵多目标优化的基础模型），它采用基于分解的训练范式，将多目标优化转化为按偏好聚合的后验学习任务，从而能够在数亿个多样化合成数据集上进行可扩展的预训练，而无需依赖大量真实世界领域实验。在测试时，给定来自未见问题的观测轨迹和用户偏好，该基础模型执行上下文内后验预测，并优化所导出的采集函数以高效生成候选解，在无需任何后续模型训练或更新的情况下实现强大的泛化和优化性能。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2509.03244 [cs.LG] |
| （或 arXiv:2509.03244v3 [cs.LG] 为本版本） | |
| https://doi.org/10.48550/arXiv.2509.03244 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yiming Yao [查看邮箱]
[v1]
2025年9月3日 星期三 12:00:24 UTC（1,879 KB）
[v2]
2026年2月1日 星期日 17:50:51 UTC（1,620 KB）
[v3]
2026年11月12日 星期四 13:34:18 UTC（1,684 KB）
来源：arXiv cs.AI · arxiv.org