arXiv cs.AI· Saksham Kiroriwal, Julius Pfrommer, J\"urgen Beyerer·· 14 小时前AI 评分20
基于 Fisher 信息几何的贝叶斯优化：梯度界与信赖域方法
Bayesian Optimization with Fisher Information Geometry: Gradient Bounds and Trust-Region Methods
AI 导读
研究从信息几何视角分析贝叶斯优化，通过代理后验映射拉回 Fisher 信息度量，在输入空间得到局部敏感度张量，从而给出可重参数化采集函数梯度的上界，解释了高维 BO 中的梯度消失现象，并为 RAASP 和维度缩放长度尺度等启发式方法提供统一解释。
正文 · AI 翻译
摘要：我们从信息几何的角度研究贝叶斯优化（BO）。通过代理后验映射拉回 Fisher 信息度量，得到输入空间上的局部敏感度张量，从而给出可重参数化采集函数梯度的一个上界。这一视角解释了高维 BO 中的梯度消失现象，并为 RAASP 和维度缩放长度尺度等启发式方法提供了统一的解释。基于此分析，我们提出 FITR，一种基于信赖域的 BO 方法，用局部拉回 Fisher 权重替代基于长度尺度的缩放。FITR 不局限于具有显式长度尺度的高斯过程核。在使用 SE 核的高斯过程基准上，实验表明 FITR 具有有竞争力的性能。所提方法也能轻松推广到非各向同性代理模型，尽管在该设定下增益更依赖于具体任务。
| 评论： | 已被 NeurIPS 2026 接收（Camera Ready 版本） |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；信息论（cs.IT） |
| 引用格式： | arXiv:2609.31107 [cs.LG] |
| （或本版本使用 arXiv:2609.31107v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2609.31107 arXiv 通过 DataCite 颁发的 DOI |
提交历史
来自：Saksham Kiroriwal [查看邮箱]
[v1]
2026年9月25日 星期五 10:52:30 UTC（2,358 KB）
[v2]
2026年10月26日 星期一 16:03:35 UTC（2,165 KB）
来源：arXiv cs.AI · arxiv.org