研究重新审视约束解码对LLM性能的影响

一项针对四类模型家族、11个开源模型的因果消融实验发现，约束解码导致的性能下降主要源于提示词与输出格式不等价，而非解码器层面的掩码。 研究将约束分为格式约束、有效性约束和推理约束三类。其中有效性约束通过排除无效答案提升可靠性与可提取性；推理约束在强制有益推理路径时可提升推理能力与准确率。研究结论是，约束解码的影响取决于约束类型及其所排除的输出空间。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。