无需重训练实现跨方言泛化：MLIR 模式派生约束解码的基准与评估

查看 PDF HTML（实验性）

摘要：多级中间表示（MLIR）是现代机器学习编译器基础设施（TensorFlow、JAX/StableHLO、PyTorch Inductor、IREE）的基础，但在代码语言模型预训练语料中仅以微量出现。MLIR 在设计上也是可扩展的：新的方言随应用领域不断推出，因此为每种方言微调一个模型无法扩展。我们探究能否用从每种方言的操作定义规范（ODS）机械推导出的推理时先验来替代基于梯度的适配。首先，我们发布了覆盖三种方言的四个自然语言到 MLIR 基准（MLIR-Spec-150、Linalg-Spec-30、StableHLO-Spec-30、StableHLO-Held-Out-200），共 410 个范围内的自然语言到 MLIR 配对，外加一个包含 25 个程序的语法外压力测试集，并在 30 个 Spec 提示上提供功能参考，采用 Apache-2.0 许可，附 Gebru 数据表和 Croissant 1.1 元数据。其次，我们构建了一个三层由模式推导的约束栈：基于操作签名的 CFG（C1）、来自 ODS 提取类型格的类型域划分（C2），以及驱动五次重试拒绝采样的 SSA 作用域验证器（C3）。将其移植到 StableHLO 无需新的约束层代码。在结构主导的方言上，带词元级约束的 SmolLM2-1.7B 在相同重试预算下达到或超过运行事后拒绝的 15B-34B 代码语言模型，且每次生成速度快 8-25 倍：在 linalg 上达到 80.0% 验证有效（三次运行，n=125），比 CodeLlama-34B、Granite-Code-34B 和 StarCoder2-15B 高出 21 至 44 个百分点，且置信区间不重叠。这一比较是系统之间的比较，而非模型之间的比较：在基线的事后协议下，SmolLM2 在 arith+func 上从 52.0% 降至 24.5%。在 arith+func 和模板化的 StableHLO-Held-Out-200 上，基线达到或超过该小模型；我们将这些划为非胜出单元。我们发布了基准、解码器、每个提示的生成结果，以及一个固定版本的可复现 Dockerfile。

评论：	被 NeurIPS 2026 评估与数据集 Track 接收；终稿版本。31 页（10 页正文 + 参考文献 + 附录 + 检查清单）。代码：此 https URL 数据集：此 https URL
主题：	人工智能（cs.AI）；机器学习（cs.LG）；编程语言（cs.PL）
ACM 分类：	I.2.7; D.3.4; I.2.6
引用为：	arXiv:2607.18254 [cs.AI]
	（或本版本的 arXiv:2607.18254v2 [cs.AI]）
	https://doi.org/10.48550/arXiv.2607.18254 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Plawan Kumar Rath [查看邮箱]
[v1] 2026 年 5 月 14 日星期四 02:08:13 UTC（182 KB）
[v2] 2026 年 10 月 16 日星期五 14:07:14 UTC（185 KB）