arXiv cs.AI· Nicolas Menet, Andreas Krause, Abbas Rahimi·· 11 小时前AI 评分32
POETS：用高效策略集成实现不确定性感知的 LLM 优化
POETS: Uncertainty-Aware LLM Optimization via Compute-Efficient Policy Ensembles
AI 导读
POETS 框架通过共享预训练主干、独立 LoRA 分支的策略集成来捕捉 LLM 的认知不确定性，无需单独训练奖励模型即可近似 KL 正则化 Thompson 采样。理论上其累积遗憾界为 O(√(T γ_T))，在蛋白质搜索、治疗性分子设计和量子电路设计等任务上取得 SOTA 样本效率。该工作已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：在探索与利用之间取得平衡是黑盒优化和强化学习中的核心挑战。我们提出 POETS（$\textbf{Po}$licy $\textbf{E}$nsembles for $\textbf{T}$hompson $\textbf{S}$ampling，用于汤普森采样的策略集成），这是一个连接不确定性量化与策略优化的新框架。我们的方法基于这样一个洞见：使用 Kullback-Leibler（KL）正则化训练的策略隐式地编码了一个潜在的奖励函数。在此基础上，POETS 绕过了训练不确定性感知奖励模型并单独拟合策略到该模型的复杂嵌套过程。相反，我们直接训练一个策略集成，通过将隐式编码的奖励函数与在线、自助采样数据相匹配来捕捉认知不确定性。为克服集成大型语言模型（LLM）在计算和内存上的严苛限制，POETS 采用了一种高效架构：集成共享一个预训练主干，同时通过独立的低秩适应（LoRA）分支保持多样性。在理论上，我们证明 POETS 隐式地近似了 KL 正则化的汤普森采样，这是一种有原则的优化策略，具有 $O(\sqrt{T \gamma_T})$ 的最优累积遗憾界。在实证上，我们证明 POETS 在包括蛋白质搜索、治疗性分子设计和量子电路设计在内的多种科学发现领域中实现了最先进的样本效率。POETS 还改善了强化学习在数学推理和代码生成任务中的优化轨迹和分布外迁移，在带有经验回放的离策略设置或小数据集情形下尤为稳健。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器学习（stat.ML） |
| 引用为： | arXiv:2605.07775 [cs.LG] |
| （或此版本的 arXiv:2605.07775v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2605.07775 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Nicolas Menet [查看邮箱]
[v1]
2026年5月8日星期五 14:16:32 UTC（1,207 KB）
[v2]
2026年10月23日星期五 11:46:17 UTC（1,029 KB）
来源：arXiv cs.AI · arxiv.org