Columbia 与 CertiK 推出 TensorLean,在 PTX 级形式化验证 GPU 内核
Columbia 与 CertiK 推出 TensorLean,用 Lean 对 PTX 级 GPU 内核做形式化验证
Columbia 大学与 CertiK 研究人员推出 TensorLean,一个基于 Lean 的框架,在 PTX 级证明编译后的 GPU 内核符合张量级数学规格,检查数据竞争、终止、容差内正确输出和内存不变四项性质。
MarkTechPost· Michal Sutter·2026-11-22 09:51· 59 分钟前AI 评分59
来自 Columbia 和 CertiK 的研究团队推出 TensorLean,用于 GPU 内核的形式化验证
AI 导读
Columbia 大学与 CertiK 研究人员推出 TensorLean,一个在 PTX 级验证 GPU 内核的 Lean 形式化验证框架,证明编译后的内核符合张量级数学规格,可检查数据竞争、终止、容差内正确输出和内存不变四个性质。
正文 · 原文
来自 Columbia 大学和 CertiK 的研究人员推出了 TensorLean,一个在 PTX 级对 GPU 内核进行形式化验证的框架。TensorLean 是一个基于 Lean 的验证器,可证明编译后的内核符合张量级数学规格。研究团队检查了 149 个内核实例,包括 FlashAttention-2、-3 和 -4 的每个内核以及 DeepGEMM。它证明了 83 个正确。其余 66 个导致了 38 个正确性缺陷。
TL;DR
- 规模:1.8K 行 PTX 解析器。规格总计 10,278 行,对应 151,285 行内核源码,比例接近 15:1。
- 运行环境:一台 16 核工作站。它检查为 A100、H100 和 B200 内核编译的 PTX。
- 性能:149 个内核实例中有 83 个被证明正确,在 6 个项目中发现了 38 个缺陷。
- 最佳表现:捕获了一个在 17,760 次测试运行中从未出现的 FlashAttention-4 数据竞争。
什么是 TensorLean?
TensorLean 是一个在 PTX 级对 GPU 内核进行形式化验证的框架。
它从未经修改的源代码开始。开发者用 Lean 编写张量级规格。随后 TensorLean 证明 4 个性质:无数据竞争、终止、容差内正确输出,以及其他内存未被改动。
TensorLean 如何验证 GPU 内核?
规格构建在 Lean 的 Mathlib 之上。张量算子沿用 PyTorch 命名,因此 @ 表示 torch.matmul。每个规格包含 5 个部分:spec_math、spec_mut、spec_layout、spec_tol 和 requires。数学部分与内存布局保持分离。
流水线分 7 步运行:
- 从未经修改的源代码开始。
- 编写张量级规格。
- 编译为 PTX 并加载 PTX 语义。
- 构建 happens-before 图以检查竞争和终止。
- 符号执行以获得最终内存,且在不同调度下保持一致。
- 将规格降低到 PTX 内存级。
- 使用 Lean 内核、Z3 和 cvc5 完成证明。
哪些技术使其可扩展?
- 并发转顺序:在 happens-before 图上的无竞争证明以符号方式覆盖所有 CTA、线程和循环迭代。
- 半环上的循环不变量:分块累加循环(如 online softmax)的闭式形式,每个循环只需 1 次 SMT 查询。
- 容差证明:代数误差被证明为零。舍入误差单独界定,然后合并。
- 断言作为提示:开发者在源码中添加
tensorlean_assert。每个断言证明一次,然后复用。
TensorLean 发现了哪些缺陷?
GitHub README 列出了 38 个缺陷,均已上报上游。FlashAttention 占 23 个。Liger Kernel 有 7 个,TileOPs 3 个,TileLang 2 个,DeepGEMM 2 个,Triton 1 个。
按类别,该网站报告了 19 个内存访问错误和 13 个数值缺陷。它还统计了 7 个数据竞争、5 个未初始化内存读取和 5 个未定义行为。另有 3 个算法错误、2 个错误编译和 1 个死锁。一个缺陷可能属于多个类别。
在 102 个 FlashAttention 实例中,56 个通过了全部 4 个性质。其余 46 个各自因源码缺陷而未能通过一个证明目标。
它与其他 GPU 内核验证器相比如何?
与 Volta 的关键差距在于配置覆盖范围。TensorLean 表示,等价性检查器每次只针对一个具体设置展开循环。它改用符号参数。
关键要点
- TensorLean 使用 Lean、Z3 和 cvc5 在 PTX 层面证明 GPU 内核正确。
- 149 个内核实例中有 83 个被证明正确;发现 38 个缺陷。
- 23 个缺陷位于 FlashAttention-2、-3 和 -4 中。
- 规范比内核源代码小约 15 倍。
查看项目页面、GitHub 仓库以及 X 上的公告。你可以通过我们的GPULeaderboard.com Chrome 扩展在此查看部署选项和规范。
另外,欢迎在Twitter上关注我们,别忘了加入我们的15 万+ 机器学习 SubReddit并订阅我们的新闻通讯。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。
需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等?联系我们
文章 A Team of Researchers from Columbia and CertiK Introduce TensorLean for Formal Verification of GPU Kernels 首次发表于 MarkTechPost。
来源:MarkTechPost · marktechpost.com
来源:RadarAI · aihot.news