arXiv cs.CL· Aviv Orly (School of Physics and Astronomy, Tel Aviv University, Israel), Ori Shem-Ur (School of Physics and Astronomy, Tel Aviv University, Israel), Yaron Oz (School of Physics and Astronomy, Tel Aviv University, Israel)·· 10 小时前AI 评分29
一个温度就够了？多温度采样在大模型 pass@K 推理中的实际收益研究
One Temperature to Rule Them All?
AI 导读
特拉维夫大学团队在 pass@K 设定下分析了多个模型与数据集上逐题成功概率随采样温度的变化，发现难题更难共享高效采样温度，但这一趋势仅随难度对数增长。他们提出高效评估理论最优多温度分配方案的方法，结果显示在按采样预算 K 调优温度时，多温度方案相对单温度基线的提升通常有限，并用“dulling effects”机制解释了温度选择在不同题目分布下的稳健性。
正文 · AI 翻译
作者：Aviv Orly (1)、Ori Shem-Ur (1)、Yaron Oz (1)（(1) 以色列特拉维夫大学物理与天文学院）
摘要：推理时采样是提升大语言模型的核心机制，其中温度控制着可靠性与多样性之间的权衡。尽管近期工作表明，在不同样本间改变温度可以提升多样本推理效果，但简单的固定温度方案在实践中仍是标准做法。我们在经典的 pass@K 设定下研究这一差异，探讨温度多样性何时有用、何时单一调优温度就已足够。为此，我们分析了多个模型和数据集上每个问题的成功概率，追踪其随采样温度的变化。我们识别出这些概率曲线的若干一致特性，包括较难的问题更不可能共享高效的采样温度，尽管这一趋势仅随难度呈对数变化。随后，我们推导出一种高效方法，用于评估理论上最优的多温度分配方案，并表明尽管该方案能提升性能，但当温度作为采样预算 K 的函数进行调优时，其相对单温度基线的增益通常有限。我们通过称为“钝化效应”的数学机制解释这一现象，并说明它们如何确保温度选择在不同问题分布下的稳健性。我们的结果阐明了多温度采样何时有用，以及温度应如何理想地选择。
| 评论： | 已被 NeurIPS 2026 接收。82 页，45 幅图，6 张表。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.13077 [cs.LG] |
| （或 arXiv:2611.13077v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13077 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Aviv Orly [查看邮箱]
[v1]
2026 年 11 月 9 日星期一 19:00:01 UTC（18,550 KB）
来源：arXiv cs.CL · arxiv.org