跳到正文
arXiv cs.AI· Mridul Mahajan, Xuezhou Zhang, Aldo Pacchiano·· 23 小时前AI 评分31

分层策略:将推理时采样预算分配给多个 LoRA 策略以提升 pass@k

Learning Stratified Policies for Inference-Time Objectives

AI 导读

研究提出“分层策略”:在共享语言模型主干上挂载 k 个独立 LoRA 适配器,每个策略贡献一个回复,共同构成 k 样本推理时目标,并针对 pass@k 优化。理论分析显示,在单个 LoRA 预测误差严格为正的线性设定下,LoRA 群体可实现零 best-of-k 近似误差。多个推理任务上,该方法对 pass@k 的改善稳定优于单策略基线。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:推理时扩展通过采样多个响应并评估其整体效用,提升了大语言模型的性能。然而,许多现有方法是通过从单一策略中反复采样来获得这些样本的。在本工作中,我们研究推理时的样本预算是否可以改为在一组策略之间分配。我们引入了分层策略(stratified policies),其中 $k$ 个学习到的策略各为一个 $k$ 样本推理时目标贡献一个响应。我们通过在共享语言模型主干上使用独立的 LoRA 适配器来实现这一策略群体,并针对 pass@$k$ 对其进行优化。我们通过分析线性设定为该方法的理论动机提供依据;在每一个单独的 LoRA 都具有严格正预测误差的设定下,一组 LoRA 可以实现零 best-of-$k$ 近似误差。在实证上,我们证明分层策略在多个推理任务上持续优于单策略基线的 pass@$k$。总体而言,我们的结果凸显了在推理时将样本分配到互补策略上,可以比从单一策略中反复进行独立同分布采样更有效地利用样本预算。
主题: 机器学习(cs.LG);人工智能(cs.AI)
引用为: arXiv:2611.23154 [cs.LG]
  (或 arXiv:2611.23154v1 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23154

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Mridul Mahajan [查看电子邮件]
[v1] 2026年11月17日星期二 18:06:12 UTC(1,218 KB)

来源:arXiv cs.AI · arxiv.org