arXiv cs.AI· Ming Chen, Rong-Xi Tan, Ke Xue, Yu-Jie Zhou, Taiye Lu, Zhi-Xuan Gao, Peng Xie, Zijun Shen, Chen Lu, Haopu Shang, Chao Qian·· 9 天前AI 评分27
AgenticBBO-Bench：面向 LLM 智能体黑盒优化的跨域基准
A Closer Look at Agentic BBO: Benchmarking LLM Agents for Black-Box Optimization
AI 导读
研究者提出 AgenticBBO-Bench，一个覆盖合成函数、超参数优化、数据库调优、芯片设计与分子设计的跨域智能体黑盒优化基准，采用统一有限预算评估协议。实验中智能体 BBO 在全部五个领域家族平均得分高于直接 LLM 方法，并在四个领域超过最优数值优化器。
正文 · AI 翻译
作者：Ming Chen、Rong-Xi Tan、Ke Xue、Yu-Jie Zhou、Taiye Lu、Zhi-Xuan Gao、Peng Xie、Zijun Shen、Chen Lu、Haopu Shang、Chao Qian
摘要：黑盒优化（BBO）出现在许多科学和工程问题中，这些问题中目标函数评估代价高昂且次数有限。近期的大语言模型（LLM）智能体通过结合任务语义、计算、优化工具和反馈驱动的决策，为 BBO 提供了一种新途径，并且由于与数学上严谨的工具相结合而展现出巨大潜力。然而，现有的智能体 BBO 研究使用了不同的任务领域和系统配置，使得其结果难以比较，也难以分离单个设计选择的影响。因此，我们提出了 AgenticBBO-Bench，这是一个面向智能体 BBO 的跨领域基准，涵盖合成函数、超参数优化、数据库调优、芯片设计和分子设计，并采用统一的有限预算评估协议。在我们的实验中，智能体 BBO 在所有五个领域中都取得了比基于 LLM 的直接方法更高的族平均分数，并在四个领域中优于最佳数值优化器。我们进一步研究了影响智能体性能的三个因素：优化工具、任务信息和先验知识，以及 LLM 在搜索过程中的作用。我们的结果表明，额外的数值工具并不能持续提升性能，任务语义普遍有用，而更具体的先验则不太可靠，并且数值优化器能够有效吸收智能体所建立的搜索轨迹带来的收益。最后，我们在 AgenticBBO-Bench 中引入了一个五项任务的前沿挑战，并在 Codex 智能体框架下评估了七个 LLM，其中 GPT-6 Astra 和 DeepSeek-V4.1-Flash 在所评估模型中位于性能与成本的帕累托前沿。我们的代码可在 此 https URL 获取。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；神经网络与进化计算（cs.NE） |
| 引用为： | arXiv:2610.12183 [cs.LG] |
| （或 arXiv:2610.12183v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12183 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ke Xue [查看邮箱]
[v1]
2026年10月8日星期四 15:48:07 UTC（350 KB）
来源：arXiv cs.AI · arxiv.org