arXiv cs.AI· Ningyuan Xi, Yuhang Lai, Ning Miao·· 1 天前AI 评分38
KernelMosaic：面向 CUDA Kernel 生成的开放数据集与智能体框架
KernelMosaic: An Open Dataset and Agentic Framework for CUDA Kernel Generation
AI 导读
KernelMosaic 是一个开放数据集与智能体框架，将多样化 CUDA 任务与经校验的解决方案和轨迹配对，通过可复用 CUDA 指导与执行反馈引导强 LLM 完成实现、正确性修复和性能优化。
正文 · AI 翻译
摘要：训练大语言模型生成高效的 CUDA 内核，需要涵盖多样计算需求与迭代式代码优化的监督。构建这种监督颇具挑战，原因在于规格异构，而有用的实现往往通过迭代式复杂测试与精炼才得以涌现。我们推出 KernelMosaic，这是一个开放数据集，将多样的 CUDA 任务与经过验证的解决方案及轨迹配对。人工引导的评审与多样性感知的筛选，用于整理以自然语言描述、参考程序、数学规格及其交集形式表达的任务。为构建解决方案与轨迹，我们的智能体框架借助可复用的 CUDA 指导与执行反馈，引导一个强大的 LLM 完成实现、正确性修复与性能优化。在 KernelMosaic 上对一个小型开源模型进行监督微调，使其在 KernelBench L1、L2 和 L3 上的正确率分别从 4%、0% 和 0% 提升至 88%、82% 和 16%，同时在各层级都提高了内核速度超过 PyTorch eager 的任务占比。进一步的训练实验表明，来自精选轨迹的监督显著优于直接响应，并能促进持续的测试与修订。这些结果表明，KernelMosaic 能使通用模型在 CUDA 内核生成方面取得显著提升。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.14604 [cs.LG] |
| （或 arXiv:2611.14604v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14604 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ningyuan Xi [查看邮箱]
[v1]
2026年11月10日星期二 17:45:06 UTC（679 KB）
来源：arXiv cs.AI · arxiv.org