arXiv cs.CL· I\c{s}{\i}l \"Ozg\"u, Yaoxuan Wu, Guy Van den Broeck, Miryung Kim·· 10 天前AI 评分22
SHIM：利用解析器状态实现轻量级约束解码偏差校正
The Parser Already Knows: Lightweight Bias Correction in Constrained Decoding
AI 导读
研究提出 SHIM，一种离线训练的轻量级校正方法，利用 GCD 工具已维护的解析器和词法状态来修正语言模型下一 token 概率，无需改动模型本身。在 bit-vector 和 text-to-SQL 语法上，SHIM 相比掩码和在线采样显著缩小了与模型语法条件分布的差距，速度接近掩码。仅看下一 token 的变体也能优于两种基线，可兼容不暴露解析器状态的 GCD 工具。
正文 · AI 翻译
摘要：语法约束解码（GCD）通过在每一步屏蔽不符合语法的 token，迫使语言模型（LM）生成语法上有效的输出。然而，由于屏蔽仅检查每个 token 到目前为止是否有效，由此得到的完整输出分布会偏离 LM 自身在语法条件下的分布，使生成偏向于有效但次优的输出。在线采样可以恢复该分布，但只能通过代价高昂的迭代重采样实现。我们的关键洞见是，GCD 工具已经维护的解析器和词法分析器状态携带了关于未来语法有效性的强信号。我们提出 SHIM，一种轻量级、离线训练的 LM 下一 token 概率校正方法，其条件为这一句法和词法状态以及候选下一 token。由于 GCD 工具已经计算了这些状态，SHIM 无需改动 LM 本身。在位向量和文本到 SQL 语法上，与屏蔽和在线采样相比，该校正大幅缩小了与 LM 语法条件分布的差距，同时运行速度接近屏蔽。即使是一个仅能看到下一 token 的变体也能优于两个基线，这使得 SHIM 可用于不暴露其解析器状态的 GCD 工具。
| 评论： | 10 页，5 幅图 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| ACM 分类： | I.2.7；F.4.2 |
| 引用为： | arXiv:2608.10137 [cs.CL] |
| （或 arXiv:2608.10137v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.10137 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Işıl Özgü [查看电子邮件]
[v1]
2026 年 8 月 10 日星期一 18:52:43 UTC（233 KB）
[v2]
2026 年 10 月 7 日星期三 00:39:27 UTC（235 KB）
来源：arXiv cs.CL · arxiv.org