arXiv cs.CL· Fiorenzo Parascandolo, Enver Sangineto, Xiaoyi Yu, Wenhui Tan, Jipei He, Ruihua Song, Rita Cucchiara·· 3 天前AI 评分24
LCMV:用长度条件化多数投票提升 LLM 推理准确率
Frustratingly Easy Majority Voting Using Length Conditioning
AI 导读
研究者提出 Length-Conditioned Majority Voting(LCMV),一种 Test-Time Training 方法,利用"更长的 CoT 往往正确率更低"这一经验观察,将长度条件先验建模为 logistic 函数,并在测试时仅用无标注数据自适应调整该先验,对每个采样答案的投票加权。
正文 · AI 翻译
摘要:多数投票(MV)是一种简单且广泛使用的策略,它通过分配额外的推理时计算来提高大型语言模型(LLM)的推理准确率。具体而言,在 MV 中,多个思维链(CoT)被独立采样,并选择出现频率最高的最终答案。在这项工作中,我们提出了长度条件多数投票(LCMV),这是一种测试时训练方法,它利用近期多项研究建立的经验观察来改进 MV:较长的 CoT 往往与较低的正确答案概率相关。我们将这种归纳偏置表述为长度条件先验概率,并用一个简单的逻辑函数进行建模。此外,我们在测试时仅使用未标注的测试数据来调整该先验,而无需微调 LLM。最后,调整后的先验被用于对每个采样答案的投票进行加权。在多个 LLM 和推理基准上的大量实验表明,LCMV 始终优于标准 MV 以及现有的基于长度和基于置信度的聚合策略,同时保留了 MV 的简单性和模型无关性。我们的代码可在以下网址获取:this https URL。
| 学科: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2610.19890 [cs.CL] |
| (或 arXiv:2610.19890v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.19890 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Fiorenzo Parascandolo [查看电子邮件]
[v1]
2026年10月14日星期三 09:48:15 UTC(459 KB)
来源:arXiv cs.CL · arxiv.org