arXiv cs.AI· Sungjun Lim, Adrian Robert Minut, Nico Carlsen Daheim, Mohammad Emtiyaz Khan, Kyungwoo Song, Thomas M\"ollenhoff·· 3 天前AI 评分24
用 Fenchel-Bregman 后验学习提升多样本推理：FBI 方法
Train for Many, Update with One: Improving Multi-Sample Reasoning via Fenchel-Bregman Posterior Learning
AI 导读
研究者提出有限 K 后验学习，训练求解器参数分布以降低 K 个独立候选全部失败的概率，并给出 Fenchel-Bregman（FB）方法，每次更新只需一次后验采样，而非直接蒙特卡洛所需的 K 次。FB 结合高斯后验变分优化器 IVON 得到 FBI，在多种递归与自回归推理任务上提升候选覆盖率，并以直接蒙特卡洛基线 12.3% 的实测单次更新训练时间达到相当的 Pass@10。
正文 · AI 翻译
摘要：多样本推理衡量候选覆盖率，即 $K$ 个候选中至少有一个正确的概率。然而，最小化单个尝试的平均损失并不能直接优化候选覆盖率。因此，我们提出了有限 $K$ 后验学习，它训练求解器参数上的分布，以降低 $K$ 个独立生成的候选全部失败的概率。为了高效优化该目标，我们提出了一种 Fenchel-Bregman（FB）方法，每次更新只需一次后验采样，而不是直接蒙特卡洛优化所用的 $K$ 次。FB 首先使用精确的 Fenchel 重表述，将问题特定权重与后验更新分离，从而实现单次采样的后验更新。然后，它应用闭式 Bregman 更新，通过观测到的失败的指数滑动平均来跟踪这些权重，并复用同一次采样。我们用 IVON（一种针对求解器参数高斯后验的变分优化器）实例化 FB，得到 Fenchel-Bregman IVON（FBI）。在多种递归和自回归推理任务中，FBI 提升了候选覆盖率。在匹配比较中，它使用直接蒙特卡洛基线每次更新实测训练时间的 12.3%，达到了相当的 Pass@10。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17735 [cs.LG] |
| （或 arXiv:2610.17735v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17735 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Sungjun Lim [查看邮箱]
[v1]
2026年10月13日星期二 05:13:26 UTC（522 KB）
来源：arXiv cs.AI · arxiv.org