arXiv cs.CL· Ngoc Trinh Hung Nguyen, Alonso Silva, Armen Aghasaryan, Mehwish Alam·· 14 小时前AI 评分38
约束解码有害还是有益？重新审视其对 LLM 性能的影响
Constrained Decoding: Harmful or Beneficial? Revisiting Its Impact on LLM Performance
AI 导读
一项针对四类模型家族、11 个开源模型的因果消融实验发现，约束解码导致的性能下降主要源于提示词与输出格式不等价，而非解码器层面的掩码。研究将约束分为格式约束、有效性约束和推理约束三类，其中有效性约束通过排除无效答案提升可靠性与可提取性，推理约束在强制有益推理路径时可提升推理能力与准确率。约束解码的影响取决于约束类型及其所排除的输出空间。
正文 · AI 翻译
摘要：约束解码保证大型语言模型（LLM）生成符合预定义格式的输出，但通常被认为会固有地降低推理能力。我们通过三类约束的分类体系来检验这一假设：\emph{格式约束}，强制输出结构；\emph{有效性约束}，屏蔽无效答案；以及\emph{推理约束}，限制推理轨迹。我们从理论上证明，适当的约束可以通过消除无效路径来保持或提升性能。在四个模型系列和十一个开源模型上，使用最先进的约束解码策略在不同基准上进行因果消融实验，结果表明，表面上的性能下降主要源于非等价的提示和输出格式，而非解码器层面的屏蔽。同时，有效性约束通过消除无效答案提高了可靠性和可提取性，而推理约束在强制有益轨迹时能够改善推理，进而提高准确率。这些发现表明，约束解码的影响取决于约束类型及其所移除的输出空间。我们的代码已公开。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.35328 [cs.CL] |
| （或 arXiv:2610.35328v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35328 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ngoc Trinh Hung Nguyen [查看邮箱]
[v1]
2026年10月26日星期一 12:26:08 UTC（134 KB）
来源：arXiv cs.CL · arxiv.org