arXiv cs.AI· Jalaj Bhandari, Dhawal Gupta, Hongli Zhan, Zhenting Wang, Varad Pimpalkhute, Zhengzhong Liu, Eric Xing, Rupesh Srivastava·· 11 小时前AI 评分36
面向 LLM 智能体的轮级 Best-of-N 采样研究
On Turn-Level Best-of-N Sampling for Scaling LLM Agents
AI 导读
研究评估了面向 LLM 智能体的轮级 best-of-N 采样方法，采用生成器-选择器双模型框架：每轮由生成器模型产出 N 个候选动作，选择器模型从中挑一个在环境中执行。在长程终端任务上，该方法带来 5–10% 的准确率提升，重复尝试的一致性也更好。轨迹分析显示智能体行为转向更优模式，包括减少解题尝试次数、改善指令遵循以及调试与测试行为。
正文 · AI 翻译
摘要：在本工作中，我们针对复杂、长时程任务上的大语言模型（LLM）智能体，评估了一种基于 \textit{轮级 best-of-N 采样}（\method）的简单推理时扩展方法。我们使用由两个 LLM 构成的 \textit{生成器-选择器} 框架来实例化该方法；在每一轮中，一个 \emph{生成器} 模型生成 $N$ 个候选动作，一个 \emph{选择器} 模型从中选择一个，随后在环境中执行。本文与 \cite{zainullina2025guided} 的工作密切相关，后者在推理时使用评论家模型进行引导搜索。与他们的工作不同，我们评估现成的开放权重 LLM 能否有效地直接比较不同的候选动作。在长时程终端任务上的实验表明，\method 可以带来显著的性能提升，无论是在准确率（5--10\%）方面，还是在重复尝试之间的一致性方面。对智能体轨迹的分析揭示了智能体行为向理想模式转变，例如减少解决任务的尝试次数、改进对任务指令的遵循、调试和测试。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.06868 [cs.AI] |
| （或 arXiv:2611.06868v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06868 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jalaj Bhandari [查看电子邮件]
[v1]
2026年11月4日星期三 18:23:14 UTC（1,179 KB）
来源：arXiv cs.AI · arxiv.org