arXiv cs.CL· Mahdi Salmani, Adel Javanmard, Devansh Gupta, Meisam Razaviyayn·· 12 小时前AI 评分23
Direct Pass@$k$ 优化：面向思维剪枝的质量与多样性平衡
Direct Pass@$k$ Optimization for Thought Pruning: Balancing Quality and Diversity in Test-Time Reasoning
AI 导读
研究者提出一种直接优化 pass@$k$ 的思维剪枝方法，通过选择使"至少一个部分解续写后得到正确答案"概率最大的候选池，将质量与多样性的权衡内化到目标函数中。在八个开源权重推理模型上，该方法优于现有的质量型与多样性型剪枝策略，在保留中等数量部分解继续生成时增益尤为明显。
正文 · AI 翻译
摘要：测试时扩展已成为推理模型的一种关键推理策略，模型会生成大量候选解，以期至少找到其中一个正确解。将所有候选解运行至完成在计算上可能代价高昂，因此近期工作仅在生成很短的前缀后便对候选池进行剪枝，只对存活的候选继续投入计算。现有的剪枝策略大致分为两类：基于质量的方法为每个部分解打分，并丢弃那些被预测最终会导致错误最终解的部分解；而基于多样性的方法则选择遵循不同推理轨迹、因而可能覆盖不同最终解的部分解。这两个目标之间的张力是探索与利用权衡的一个实例，然而此前几乎没有关于剪枝的工作直接揭示这一权衡，更不用说对其进行优化。在本文中，我们引入一种剪枝流程，通过优化所选解池上的 pass@$k$ 来直接处理这一权衡。具体而言，它选择解池以最大化以下概率：其中至少一个部分解在继续生成至完成后能产生正确答案。由于该目标同时奖励高质量的部分解并惩罚它们之间的冗余，质量与多样性由该准则本身自然平衡，而非通过各自独立的临时设计选择来实现。在八个开放权重推理模型上，我们的方法优于现有的基于质量和基于多样性的剪枝策略。当剪枝流程保留中等数量的部分解用于继续生成时，增益尤为显著，凸显了在剪枝过程中直接平衡质量与多样性的价值。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.31667 [cs.AI] |
| （或 arXiv:2610.31667v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31667 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mahdi Salmani [查看邮箱]
[v1]
2026年10月22日星期四 17:59:48 UTC（868 KB）
来源：arXiv cs.CL · arxiv.org