arXiv cs.AI· Songqiao Su, Xiaoya Li, Albert Wang, Guoyin Wang, Jiwei Li, Chris Shum·· 1 天前AI 评分58
CUDA-L2：用强化学习优化 HGEMM 内核，性能超越 cuBLAS
CUDA-L2: Surpassing cuBLAS Performance for Matrix Multiplication through Reinforcement Learning
AI 导读
CUDA-L2 将大语言模型与强化学习结合，以 CUDA 执行速度为奖励自动优化半精度通用矩阵乘（HGEMM）的 CUDA 内核，覆盖 1000 组配置。离线模式下，其平均性能比 cuBLAS 高 19.2%、比 cuBLASLt-AutoTuning 高 11.4%；在模拟实时推理的服务器模式下，这两项提升分别扩大到 26.0% 和 15.9%。
正文 · AI 翻译
摘要：在本文中，我们提出 CUDA-L2，这是一个结合大语言模型（LLM）与强化学习（RL）来自动优化半精度通用矩阵乘法（HGEMM）CUDA 内核的系统。CUDA-L2 以 CUDA 执行速度作为 RL 奖励，在 1,000 种配置下自动优化 HGEMM 内核。CUDA-L2 系统性地优于迄今为止的主要矩阵乘法基线，从广泛使用的 this http URL 到最先进的 Nvidia 闭源库，即 cuBLAS、cuBLASLt。在离线模式下，内核连续执行且无时间间隔，CUDA-L2 平均比 this http URL 提升 +22.0%；使用最优布局配置（normal-normal NN 与 transposed-normal TN）时比 cuBLAS 提升 +19.2%；比 cuBLASLt-heuristic 提升 +16.8%，后者查询 cuBLASLt 库并根据启发式建议选择算法；比最具竞争力的 cuBLASLt-AutoTuning 模型提升 +11.4%，后者从 cuBLASLt 建议的最多 100 个候选中选择最快的算法。在服务器模式下，内核以随机间隔执行以模拟实时推理，加速比进一步提升至 +28.7%、+26.0%、+22.4% 和 +15.9%，分别对应 this http URL、cuBLAS、cuBLASLt-heuristic 和 cuBLASLt-AutoTuning。CUDA-L2 表明，即使是最性能关键、经过高度优化的内核（如 HGEMM），也可以通过 LLM 引导的 RL 自动化，在人类难以企及的规模上系统性地探索配置空间来获得改进。项目与代码见 this http URL
| 评论： | 项目代码：this http URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2512.02551 [cs.LG] |
| （或 arXiv:2512.02551v5 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2512.02551 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jiwei Li [查看邮箱]
[v1]
2025年12月2日 星期二 09:20:15 UTC（545 KB）
[v2]
2025年12月12日 星期五 00:47:40 UTC（545 KB）
[v3]
2026年7月13日 星期一 00:51:09 UTC（1,494 KB）
[v4]
2026年8月5日 星期三 18:31:31 UTC（1,494 KB）
[v5]
2026年11月11日 星期三 16:36:13 UTC（465 KB）
来源：arXiv cs.AI · arxiv.org