arXiv cs.AI· Alessandro Previti, Konstantinos Vandikas, Mario Alviano, Mats Carlsson, Albin Larsson Forsberg, Alexandros Nikou, Athanasios Karapantelakis, Aneta Vulgarakis·· 1 天前AI 评分34
面向大语言模型的规范引导生成框架
Specification-Guided Generation for Large Language Models
AI 导读
研究者提出一种神经符号的规范引导解码框架，将 LLM 生成与符号推理结合，每步过滤掉无法扩展为满足规范输出的取值。前向变体按构造保证规范满足，相比拒绝采样减少重复 LLM 推理，仅带来少量符号推理开销；回溯变体则进一步减少模型被迫选择其自判不合适取值的情况。该框架与模型无关、无需重训练，基于现有语法约束解码机制。
正文 · AI 翻译
摘要：大语言模型（LLM）能够生成结构化输出，但现有的约束解码方法主要强制语法，无法直接强制满足形式化规范。我们提出了一种神经符号、规范引导的解码框架，将 LLM 生成与符号推理相结合。在每一步，该框架通过过滤掉无法扩展为满足规范的输出的值来精化解码语法。我们提出了一种仅前向变体，它通过构造保证满足规范；以及一种回溯变体，当早期可行选择的下游后果只剩下 LLM 自身判定为不合适的值时，该变体会修正这些早期选择。该框架与模型无关，无需重新训练，并建立在现有的语法约束解码机制之上。在配置和约束求解基准上的实验表明，仅前向变体能够可靠地产生符合规范的输出，同时与拒绝采样相比减少了重复的 LLM 推理，并带来适度的符号推理开销。回溯变体进一步减少了模型被迫选择其自身判定为不合适的值的情况，从而大幅提高了对 LLM 所声明的提示词解释的遵循程度。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.41511 [cs.AI] |
| （或使用 arXiv:2610.41511v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.41511 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Alessandro Previti [查看电子邮件]
[v1]
2026年10月30日星期五 10:01:25 UTC（59 KB）
[v2]
2026年11月2日星期一 11:15:06 UTC（59 KB）
来源：arXiv cs.AI · arxiv.org