arXiv cs.AI· Anita Kriz, Antonin Berthon, Nicol\'as Astorga, Mihaela van der Schaar·· 2 天前AI 评分24
将序列贝叶斯实验设计摊销进推理 LLM
Amortizing Sequential Experimental Design in Reasoning LLMs
AI 导读
研究将序列贝叶斯实验设计（BED）摊销进 LLM，通过信息增益奖励显式训练引导动作选择的推理过程，实验生成模型独立于 LLM 自身信念。在 Twenty Questions 上，所得策略提升信息获取与任务表现，以显著更低计算成本超越推理时和训练时 BED 基线，并泛化到未见类别。
正文 · AI 翻译
摘要：尽管大型语言模型（LLM）拥有广泛的预训练知识和强大的推理能力，但在实验设计任务中仍难以自适应地收集信息。我们研究如何通过使用信息增益奖励显式训练指导动作选择的推理，将序列贝叶斯实验设计（BED）摊销到 LLM 中。我们的方法独立于 LLM 自身的信念来指定实验生成模型，使我们能够在所选模型下优化期望信息增益。我们研究了摊销的设计选择，包括替代生成模型构建、奖励估计、假设空间规范、多步目标，以及相对于训练时和推理时 BED 基线的计算成本。在 Twenty Questions 上，所得策略改善了信息获取和任务表现，以显著更低的计算成本优于推理时和训练时 BED 基线，并泛化到未见类别。我们进一步展示了从 Twenty Questions 训练到 Medi-Q（一个真实世界临床对话基准）的正向迁移。这些结果表明，信息收集可以作为 LLM 中一种可泛化的推理技能来学习。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.20832 [cs.LG] |
| （或 arXiv:2610.20832v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20832 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Antonin Berthon [查看电子邮件]
[v1]
2026年10月14日星期三 19:15:58 UTC（1,676 KB）
来源：arXiv cs.AI · arxiv.org