arXiv cs.AI· Chih-Yu Chang, Milad Azvar, Chinedum Okwudire, Raed Al Kontar·· 10 小时前AI 评分31
LLINBO：可信的 LLM-in-the-Loop 贝叶斯优化框架
LLINBO: Trustworthy LLM-in-the-Loop Bayesian Optimization
AI 导读
研究者提出 LLINBO 框架，将现有基于 LLM 的贝叶斯优化方法包裹起来，决定何时采纳 LLM 建议、何时回退到经典 BO。该框架引入三种交互机制，每种都附带 no-harm 理论保证，在常见核函数下确保次线性累积遗憾，且无需对 LLM 性能作任何假设。
正文 · AI 翻译
摘要：贝叶斯优化（BO）是一种顺序决策工具，广泛用于优化代价高昂的黑盒函数。近来，大语言模型（LLM）在低数据场景下展现出显著的自适应能力，使其有望借助上下文知识提出高质量查询点，从而用于黑盒优化。然而，LLM 缺乏显式的代理建模与校准不确定性，其内部机制仍不透明。这种结构性不透明可能导致不必要的实验，而实验在 BO 中代价高昂，并可能阻碍搜索逼近最优解。为此，我们提出 LLINBO：LLM-in-the-Loop BO，这是一个通用框架，可封装现有的基于 LLM 的 BO 方法，决定何时以及如何采纳其建议，以及何时回退到经典 BO。我们为该交互引入三种机制，每种机制均附带无害理论保证，确保在常见核函数下具有次线性累积遗憾，同时无需对 LLM 作任何性能假设。除这些理论保证外，我们通过仿真研究表明，LLINBO 使现有基于 LLM 的 BO 更加可靠，同时仍能利用 LLM 的少样本学习能力超越经典 BO。我们进一步在一个真实、代价高昂的 3D 打印实验中展示了其实际应用。代码见 此 https URL。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2505.14756 [cs.LG] |
| （或 arXiv:2505.14756v3 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2505.14756 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chih-Yu Chang [查看邮箱]
[v1]
2025年5月20日星期二 15:54:48 UTC（6,905 KB）
[v2]
2025年10月9日星期四 17:09:12 UTC（6,924 KB）
[v3]
2026年10月29日星期四 23:20:28 UTC（10,063 KB）
来源：arXiv cs.AI · arxiv.org