arXiv cs.CL· Siqi Guo, Ming Lin, Tianbao Yang·· 2 天前AI 评分49
DRTriton:大规模合成数据驱动的强化学习框架,用于生成 Triton Kernel
DRTriton: Large-Scale Synthetic Data Driven Reinforcement Learning for Triton Kernel Generation
AI 导读
DRTriton 是一个可扩展的学习框架,通过合成数据与强化学习训练 LLM 将 PyTorch 程序转换为高度优化的 Triton kernel。其 7B 模型在 KernelBench Level 2 的 92% 任务上实现相对 PyTorch 的加速,而 GPT-5.2 与 Claude-Sonnet-4.5 分别仅为 23% 和 19%。
正文 · AI 翻译
摘要:开发高效的 CUDA 内核是生成式 AI 行业中一项基础却富有挑战性的任务。近期研究利用大语言模型(LLM)自动将 PyTorch 参考实现转换为 CUDA 内核,显著减少了工程投入。最先进的 LLM(如 GPT-5.2 和 Claude-Sonnet-4.5)在该任务上仍表现不佳。为应对这一挑战,我们提出 DRTriton,一个可扩展的学习框架,用于训练 LLM 将 PyTorch 程序转换为高度优化的 Triton 内核,这些内核随后在运行时被编译为 CUDA 内核。DRTriton 包含三个关键组件:(i) 数据合成算法 CSP-DAG,可在算子空间上保证完全覆盖和无偏均匀采样,并控制难度;(ii) 采用解耦奖励的课程式 RL 框架,联合优化转换成功率和执行速度;(iii) 一种测试时搜索算法,进一步提升所生成 Triton 内核的执行速度。在使用现有 LLM 整理的有限 PyTorch-Triton 配对上进行 SFT 预热后,经 RL 在合成 PyTorch 程序上训练的 DRTriton 能有效泛化到即便对人类专家也颇具挑战的真实 CUDA 内核。实验结果表明,DRTriton-7B 在 92% 的 KernelBench Level 2 任务上相较 PyTorch 实现加速,而 GPT-5.2 为 23%,Claude-Sonnet-4.5 为 19%。
| 评论: | 已被 NeurIPS 2026 接收。代码见 此 https URL |
| 主题: | 计算与语言(cs.CL);机器学习(cs.LG) |
| 引用为: | arXiv:2603.21465 [cs.CL] |
| (或 arXiv:2603.21465v3 [cs.CL] 为本版本) | |
| https://doi.org/10.48550/arXiv.2603.21465 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Siqi Guo [查看邮箱]
[v1]
2026年3月23日 星期一 00:59:35 UTC(242 KB)
[v2]
2026年5月26日 星期二 23:09:53 UTC(228 KB)
[v3]
2026年11月12日 星期四 22:38:07 UTC(229 KB)
来源:arXiv cs.CL · arxiv.org