跳到正文
RadarAI· MarkTechPost(RSS)·· 20 小时前AI 评分58

Columbia 与 CertiK 推出 TensorLean,在 PTX 级形式化验证 GPU 内核

Columbia 与 CertiK 推出 TensorLean,用 Lean 对 PTX 级 GPU 内核做形式化验证

AI 导读

Columbia 大学与 CertiK 研究人员推出 TensorLean,一个基于 Lean 的框架,在 PTX 级证明编译后的 GPU 内核符合张量级数学规格,检查数据竞争、终止、容差内正确输出和内存不变四项性质。

正文 · AI 翻译

MarkTechPost· Michal Sutter·2026-11-22 09:51· 59 分钟前AI 评分59

来自 Columbia 和 CertiK 的研究团队推出 TensorLean,用于 GPU 内核的形式化验证

AI 导读

Columbia 大学与 CertiK 研究人员推出 TensorLean,一个在 PTX 级验证 GPU 内核的 Lean 形式化验证框架,证明编译后的内核符合张量级数学规格,可检查数据竞争、终止、容差内正确输出和内存不变四个性质。

正文 · 原文

来自 Columbia 大学和 CertiK 的研究人员推出了 TensorLean,一个在 PTX 级对 GPU 内核进行形式化验证的框架。TensorLean 是一个基于 Lean 的验证器,可证明编译后的内核符合张量级数学规格。研究团队检查了 149 个内核实例,包括 FlashAttention-2、-3 和 -4 的每个内核以及 DeepGEMM。它证明了 83 个正确。其余 66 个导致了 38 个正确性缺陷。

TL;DR

  • 规模:1.8K 行 PTX 解析器。规格总计 10,278 行,对应 151,285 行内核源码,比例接近 15:1。
  • 运行环境:一台 16 核工作站。它检查为 A100、H100 和 B200 内核编译的 PTX。
  • 性能:149 个内核实例中有 83 个被证明正确,在 6 个项目中发现了 38 个缺陷。
  • 最佳表现:捕获了一个在 17,760 次测试运行中从未出现的 FlashAttention-4 数据竞争。

什么是 TensorLean?

TensorLean 是一个在 PTX 级对 GPU 内核进行形式化验证的框架。

它从未经修改的源代码开始。开发者用 Lean 编写张量级规格。随后 TensorLean 证明 4 个性质:无数据竞争、终止、容差内正确输出,以及其他内存未被改动。

TensorLean 如何验证 GPU 内核?

规格构建在 Lean 的 Mathlib 之上。张量算子沿用 PyTorch 命名,因此 @ 表示 torch.matmul。每个规格包含 5 个部分:spec_math、spec_mut、spec_layout、spec_tol 和 requires。数学部分与内存布局保持分离。

流水线分 7 步运行:

  1. 从未经修改的源代码开始。
  2. 编写张量级规格。
  3. 编译为 PTX 并加载 PTX 语义。
  4. 构建 happens-before 图以检查竞争和终止。
  5. 符号执行以获得最终内存,且在不同调度下保持一致。
  6. 将规格降低到 PTX 内存级。
  7. 使用 Lean 内核、Z3 和 cvc5 完成证明。

哪些技术使其可扩展?

  • 并发转顺序:在 happens-before 图上的无竞争证明以符号方式覆盖所有 CTA、线程和循环迭代。
  • 半环上的循环不变量:分块累加循环(如 online softmax)的闭式形式,每个循环只需 1 次 SMT 查询。
  • 容差证明:代数误差被证明为零。舍入误差单独界定,然后合并。
  • 断言作为提示:开发者在源码中添加 tensorlean_assert。每个断言证明一次,然后复用。

TensorLean 发现了哪些缺陷?

GitHub README 列出了 38 个缺陷,均已上报上游。FlashAttention 占 23 个。Liger Kernel 有 7 个,TileOPs 3 个,TileLang 2 个,DeepGEMM 2 个,Triton 1 个。

按类别,该网站报告了 19 个内存访问错误和 13 个数值缺陷。它还统计了 7 个数据竞争、5 个未初始化内存读取和 5 个未定义行为。另有 3 个算法错误、2 个错误编译和 1 个死锁。一个缺陷可能属于多个类别。

在 102 个 FlashAttention 实例中,56 个通过了全部 4 个性质。其余 46 个各自因源码缺陷而未能通过一个证明目标。

它与其他 GPU 内核验证器相比如何?

特性TensorLeanVoltaProofWrightPTX in Lean(Koska 等)
构建者Columbia、CertiKMSR India、Stanford未披露SF Tensor
代码层级PTXPTXCUDAPTX
校验依据Lean 张量规范参考内核安全性 + 等价性Lean 证明
已验证内核149 个实例,FA-2/3/4、DeepGEMM、Liger教程归约、SGEMM、FA 风格、TileLangKernelBench L1,74% 的安全性3 个简单内核
异步操作(wgmma、TMA)是,FA-3 和 FA-4不在范围内未披露是
新报告的缺陷38竞态、越界读取未披露未披露
检查时间中位数约 10 分钟,最长 50 分钟0.007 秒至约 570 秒每个内核约 3 分钟未披露

与 Volta 的关键差距在于配置覆盖范围。TensorLean 表示,等价性检查器每次只针对一个具体设置展开循环。它改用符号参数。

关键要点

  • TensorLean 使用 Lean、Z3 和 cvc5 在 PTX 层面证明 GPU 内核正确。
  • 149 个内核实例中有 83 个被证明正确;发现 38 个缺陷。
  • 23 个缺陷位于 FlashAttention-2、-3 和 -4 中。
  • 规范比内核源代码小约 15 倍。

查看项目页面、GitHub 仓库以及 X 上的公告。你可以通过我们的GPULeaderboard.com Chrome 扩展在此查看部署选项和规范。

另外,欢迎在Twitter上关注我们,别忘了加入我们的15 万+ 机器学习 SubReddit并订阅我们的新闻通讯。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。

需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等?联系我们

文章 A Team of Researchers from Columbia and CertiK Introduce TensorLean for Formal Verification of GPU Kernels 首次发表于 MarkTechPost。

来源:MarkTechPost · marktechpost.com

来源:RadarAI · aihot.news