arXiv cs.AI· Nicolas Samuel Blumer, Julien Martinelli, Samuel Kaski·· 10 小时前AI 评分27
面向不可靠反馈的上下文内黑盒优化（FICBO）
In-Context Black-Box Optimization with Unreliable Feedback
AI 导读
研究者提出 FICBO，一种在上下文内黑盒优化中同时利用优化历史与廉价辅助反馈的预训练优化器。该方法引入结构化先验刻画辅助反馈与目标函数的关系，并据此预训练一个反馈感知 Transformer，覆盖从高信息量到误导性反馈的多种情形。测试时模型通过对比观测目标值与辅助信号在上下文中估计来源可靠性，在合成与真实任务上既能利用有效反馈，也对弱或误导性来源保持稳健。
正文 · AI 翻译
摘要：科学与工程中的黑盒优化往往伴随辅助信息：专家、模拟器、预训练预测器或启发式方法可以提示有希望的候选方案。此类反馈能够加速搜索，但也可能有偏差、依赖输入或具有误导性。反馈感知的贝叶斯优化方法通常独立处理任务，限制了跨反馈来源的适应能力。上下文优化器能够实现跨任务适应，但通常仅在测试时依赖优化历史。我们研究反馈信息引导的上下文黑盒优化（FICBO），其中预训练优化器同时以观测历史和当前候选集的廉价辅助反馈为条件。我们引入关于辅助反馈与目标之间关系的结构化先验，并利用这些先验在从高度信息性到误导性的各种情形下预训练一个反馈感知的 transformer。在测试时，模型通过比较观测到的目标值与辅助信号，在上下文中估计来源可靠性，从而改进查询选择。在合成和真实任务上，FICBO 能有效利用信息性反馈，同时对微弱或误导性来源保持稳健。实证研究进一步说明了模型如何感知测试时的来源，为其可解释性和决策过程提供了洞见。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.06187 [cs.LG] |
| （或 arXiv:2605.06187v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.06187 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Nicolas Blumer [查看邮箱]
[v1]
2026年5月7日星期四 13:03:19 UTC（1,425 KB）
[v2]
2026年11月4日星期三 11:56:06 UTC（1,977 KB）
来源：arXiv cs.AI · arxiv.org