arXiv cs.AI· Anas Barakat, Souradip Chakraborty, Khushbu Pahwa, Amrit Singh Bedi·· 3 天前AI 评分32
LLM 后训练中的提示词干扰：为什么 Pass@k 优化会降低 Pass@1
Prompt Interference in LLM Post-Training: Why Pass@k Optimization Can Degrade Pass@1
AI 导读
研究发现，直接优化 Pass@k 的推理感知微调方法会因提示词干扰引发梯度冲突，导致 Pass@k 提升的同时 Pass@1 下降。其机制在于 Pass@k 策略梯度隐式地将提示词权重向低成功率提示词倾斜，当这些提示词存在负干扰时，更新方向会偏离 Pass@1 方向。该结论在数学推理与代码生成任务的大语言模型实验中得到验证。
正文 · AI 翻译
摘要：Pass@$k$ 是用于可验证大语言模型任务（包括数学推理、代码生成和短答案推理）的广泛使用的性能指标。它定义：若 $k$ 个独立采样的解中任意一个通过验证器，则视为成功。这一多样本推理指标推动了直接优化 pass@$k$ 的推理感知微调方法。然而，先前工作报告了一个权衡：在此类方法下，pass@$k$ 提升而 pass@1 下降。这一权衡在实践中很重要，因为由于延迟和成本预算、验证器覆盖不完善以及对可靠单次回退的需求，pass@1 往往仍是硬性操作约束。我们研究了这一权衡的起源，并从理论上刻画了 pass@$k$ 策略优化何时会通过提示干扰引起的梯度冲突降低 pass@1。这种干扰的产生是因为共享模型参数耦合了提示，因此提升某些提示的性能可能对其他提示产生不利影响。我们表明，pass@$k$ 策略梯度可能与 pass@1 梯度冲突，因为 pass@$k$ 优化隐式地将提示重新加权至低成功率提示；当这些提示存在负干扰时，它们的加权提升可能使 pass@$k$ 更新方向偏离 pass@1 方向。我们通过在可验证数学推理和编码任务上的大语言模型实验说明了我们的发现。
| 评论： | NeurIPS 2026 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2602.21189 [cs.LG] |
| （或 arXiv:2602.21189v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.21189 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Anas Barakat [查看电子邮件]
[v1]
2026年2月24日星期二 18:43:08 UTC（715 KB）
[v2]
2026年2月26日星期四 18:11:36 UTC（717 KB）
[v3]
2026年10月13日星期二 04:24:29 UTC（2,251 KB）
来源：arXiv cs.AI · arxiv.org