arXiv cs.AI· Boqi Chen, Aren A. Babikian, Jos\'e Antonio Hern\'andez L\'opez·· 12 小时前AI 评分31
MeMoDecode：用元模型引导 LLM 解码，保证 DSL 生成一致性
Metamodel-Guided LLM Decoding for Consistent DSL Generation
AI 导读
MeMoDecode 是一个在解码阶段同时约束 DSL 具体语法、抽象语法与良构性约束的框架，每当 LLM 生成完整的元模型概念时，就将输出增量映射为部分模型并验证其能否补全为一致实例。在 4 种 DSL 和 6 个 0.6B 至 70B 参数的开源模型上，其一致性平均比无约束解码高 23%、比语法约束解码高 8%，同时提升基准表现且运行时开销有限。
正文 · AI 翻译
摘要：大语言模型（LLM）越来越多地被用于生成以领域特定语言（DSL）编写的软件工程制品。正确的 DSL 实例通常不仅必须符合具体语法，还必须符合由元模型定义的抽象语法，并附加语义良构性约束。现有的约束解码方法通常只能保证符合具体语法，或符合在生成文本上表达的有限语义约束，因此难以在生成过程中强制实现元模型层面的约束一致性。我们提出 MeMoDecode：一个联合强制实施 DSL 具体语法、抽象语法和良构性约束的解码框架。具体而言，每当 LLM 生成一个完整的元模型概念时，MeMoDecode 会将当前输出增量映射为部分模型，并验证其是否仍能补全为一致的实例。我们将 MeMoDecode 与一种简单的重试机制相结合：一旦检测到不一致，就从最近的可补全快照恢复解码。在可靠的后端验证器下，对于满足自然假设的对齐指标，MeMoDecode 的表现绝不会差于语法约束解码。在四种 DSL 和六个参数规模从 0.6B 到 70B 的开源权重 LLM 上，MeMoDecode 实现了一致性最高，相比无约束解码平均提升 23%，相比语法约束解码平均提升 8%。它还提升了基准性能，同时仅带来适度的运行时开销。这些结果表明，元模型引导的解码是一种在不同 DSL 和 LLM 规模下于解码过程中强制实现 DSL 一致性的有效方法。
| 评论： | 12 页，5 幅图 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.29749 [cs.SE] |
| （或 arXiv:2610.29749v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29749 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Boqi Chen [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 13:49:08 UTC（662 KB）
来源：arXiv cs.AI · arxiv.org