arXiv cs.CL· Yutaro Yamada, Kei Hiroshima, Nozomu Yoshinari, Kento Uchida, Shinichi Shirakawa·· 2 天前AI 评分31
BBOWP-Bench:评估 LLM 在黑盒优化文字题上的表现
BBOWP-Bench: Evaluating LLMs on Black-Box Optimization Word Problems
AI 导读
研究者提出 BBOWP-Bench,用于评估 LLM 能否从自然语言描述中同时推断黑盒优化问题的搜索空间与优化算法。每个实例包含问题描述、可执行评估环境和人工设计的参考方案,覆盖多个黑盒优化领域。测试显示当前 LLM 会随评估预算调整优化器选择,但在问题描述信息不足或搜索空间高度特定时,识别关键变量与平衡变量范围仍有困难。
正文 · AI 翻译
摘要:优化问题的表述方式会强烈影响最终解的质量,而良好的表述通常需要大量专业知识。近期研究探索了从自然语言描述自动推导优化问题,但现有基准主要关注目标与约束可显式写成数学表达式的设定。许多实际重要的问题天然适合作为黑盒优化(BBO)问题处理,其中只能观测到目标值,函数形式不可用。在 BBO 中,搜索空间设计(作为问题表述的一部分)和优化算法选择对问题求解至关重要。用大语言模型(LLM)自动化这些过程仍具挑战性。我们提出黑盒优化应用题(BBOWP),这是一种新的问题设定,系统必须从黑盒优化任务的自然语言描述中同时推断搜索空间和优化算法。为支持该设定下的研究,我们建立了 BBOWP 基准套件(BBOWP-Bench),这是一个用于 BBOWP 的数据集和评估框架。每个实例结合了自然语言问题描述、可执行评估环境和人工设计的参考表述,从而可以评估搜索空间设计和算法选择两方面。利用该基准,我们在多个 BBO 领域评估 LLM 从自然语言描述联合构建搜索空间和优化器的能力。我们表明,当前 LLM 会随评估预算改变优化器选择,尽管它们有时在搜索空间设计上存在困难,尤其是在问题描述信息较少或搜索空间高度特定于问题时,难以识别重要变量并平衡其范围。我们的代码和数据集可在 此 https URL 获取。
| 评论: | 已被 NeurIPS 2026(评估与数据集 Track)接收 |
| 主题: | 计算与语言(cs.CL);机器学习(cs.LG);神经与进化计算(cs.NE) |
| 引用为: | arXiv:2608.02612 [cs.CL] |
| (或 arXiv:2608.02612v2 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2608.02612 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Yutaro Yamada [查看电子邮件]
[v1]
2026年5月20日星期三 08:11:23 UTC(812 KB)
[v2]
2026年11月13日星期五 05:59:33 UTC(826 KB)
来源:arXiv cs.CL · arxiv.org