arXiv cs.AI· Ruth Wan Theng Chew, Zhiliang Chen, Apivich Hemachandra, Bryan Kian Hsiang Low·· 13 小时前AI 评分31
BoLT：面向昂贵 LLM 任务的黑盒优化基准发布
BoLT: A Benchmark to Democratize Black-box Optimization Research for Expensive LLM Tasks
AI 导读
研究者发布 BoLT，首个以 LLM 为中心的黑盒优化基准，通过拟合数千次真实 LLM 实验的轻量代理模型，让 BBO 社区无需承担高昂训练推理成本即可复现实验。BoLT 覆盖多保真度、多目标、异方差噪声和高维搜索空间等 LLM 优化问题，基准测试显示部分 BO 方法在各任务上持续优于其他方法，同时暴露了现有 BBO 方法在 LLM 任务上的不足。
正文 · AI 翻译
摘要：优化 LLM 训练和推理配置（如超参数、数据混合和提示词）对性能至关重要，但在实践中往往采用启发式方法，可能导致次优结果。通过将其建模为带噪声、昂贵且无导数的优化问题，贝叶斯优化（BO）和其他黑盒优化（BBO）方法为有原则、样本高效的方法提供了一个有前景但尚未充分探索的方向。然而，对于大多数 BBO 研究社区而言，LLM 训练和推理成本过高，新方法往往只在合成测试函数和小规模数据集上评估，无法捕捉现代 LLM 优化问题的挑战。这阻碍了 BBO 方法的发展，也使其难以在现代 LLM 任务上评估有效性。我们推出 BoLT，这是首个以 LLM 为中心的基准，旨在让 BBO 社区民主化地开展 LLM 研究。BoLT 发布于 此 https URL。BoLT 涵盖广泛且动机充分的 LLM 优化问题，涉及多保真度、多目标、异方差噪声和高维搜索空间。BoLT 中的每个问题都基于真实实验数据，并通过拟合数千次真实 LLM 实验结果的轻量级代理模型实现完全可复现和可访问。我们将 BoLT 与广泛的 BO 和 BBO 方法进行基准测试，表明选定的 BO 方法在各任务上始终优于其他方法，并突显了现有 BBO 方法在 LLM 任务上的差距，强调需要为 BBO 社区现代化基准。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.17000 [cs.LG] |
| （或 arXiv:2605.17000v2 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.17000 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Zhiliang Chen [查看电子邮件]
[v1]
2026年5月16日星期六 13:53:44 UTC（2,089 KB）
[v2]
2026年10月27日星期二 03:52:46 UTC（3,510 KB）
来源：arXiv cs.AI · arxiv.org