arXiv cs.AI· Paul Setinek, Fabian Paischer, Nils Thuerey, Johannes Brandstetter, Felix Koehler·· 3 天前AI 评分24
通过多保真度训练实现神经代理模型的算力最优数据扩展
Compute-optimal data scaling for neural surrogates via multi-fidelity training
AI 导读
研究将 PDE 神经代理训练建模为数据量与保真度的联合优化问题，把保真度视为细粒度离散谱而非二元区分，在固定数据生成算力预算下实现帕累托最优误差扩展。使用低保真度模拟作为额外训练信号，最优保真度混合训练可匹配纯高保真度训练的精度，数据生成算力最多减少 6.3 倍。该结论在六个 PDE 问题、两类误差来源和四种代理架构上验证，总计超过 7,000 次训练运行，已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：偏微分方程（PDE）的神经代理模型通常使用来自数值模拟器的合成数据进行训练。随着模型规模增长以及缩放定律要求更大的数据集，数据生成的成本往往超过训练成本，并成为扩展探索中的瓶颈。然而，与其他领域的数据不同，每个 PDE 样本都有一个可调成本，该成本取决于其数值保真度，由此产生的成本-精度权衡由已知的收敛率决定。我们利用这一特性，在固定的数据生成计算预算下，将神经代理模型训练形式化为数据数量和保真度的函数，将保真度视为细粒度的离散谱，而非二元区分。在此基础上，我们表明多保真度训练能够实现相对于数据生成计算的帕累托最优误差缩放。通过将较低保真度的模拟作为额外训练信号，在最优保真度混合上训练可达到仅使用高保真度训练的精度，而在我们的设置中数据生成计算量最多减少 $6.3\times$。我们在六个 PDE 问题（涵盖结构化网格和非结构化网格）、两种不同的误差来源（离散化误差和迭代求解器误差）以及四种代理模型架构上验证了这些发现，总计超过 7,000 次训练运行。
| 评论： | 已被 NeurIPS 2026 接收。项目页面：此 https URL 代码：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17221 [cs.LG] |
| （或 arXiv:2610.17221v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17221 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Paul Setinek [查看电子邮件]
[v1]
2026年10月12日星期一 18:00:13 UTC（6,460 KB）
来源：arXiv cs.AI · arxiv.org