arXiv cs.CL· Youngkyung Seo, MiHyeon Kim, Jisoo Lee, Hwijung Ryu·· 10 小时前AI 评分31
SERIAL-7：面向七种表示的可执行验证基准，覆盖机器可验证输出的推导、实现与保持
SERIAL-7: Deriving, Realizing, and Preserving Machine-Verifiable Outputs Across Representations
AI 导读
SERIAL-7 是一个韩英双语基准，用可执行验证框架检验大语言模型在七种表示上的机器可验证生成，包含 177 个经校验的规范产物和 43 条原子表示约束。基准将任务拆为语义推导（Derive）、受限产物生成（Realize）与跨表示保持（Preserve），并支持从表示合规到完整产物有效性的分级验证。
正文 · AI 翻译
摘要：大型语言模型越来越多地生成由程序和下游系统消费的结构化输出，而仅凭语义正确并不能保证可靠执行。我们提出 SERIAL-7，这是一个围绕可执行验证框架构建的韩英双语基准，用于跨七种表示形式的机器可验证生成。SERIAL-7 使用 177 个经过验证的规范工件，将语义推导（Derive）、受约束的工件生成（Realize）和跨表示保持（Preserve）区分开来。其 43 条原子表示约束与针对格式、结构和任务特定语义的可执行检查相配对，从而能够从表示合规性到完整工件有效性进行逐步更严格的验证。在十个模型中，REALIZE-L3 HSR 的范围为 42.0% 到 93.9%，而完全合规性则暴露出超出正确最终答案和有效表示之外的额外工件级失败。这些结果表明，可靠的结构化生成需要对工件如何被实现以及如何跨表示保持进行明确、可执行的验证。
| 评论： | NeurIPS 2026 可验证编码人工智能研讨会 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.41308 [cs.AI] |
| （或使用 arXiv:2610.41308v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.41308 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mihyeon Kim [查看电子邮件]
[v1]
2026年10月30日星期五 06:15:59 UTC（4,645 KB）
来源：arXiv cs.CL · arxiv.org