arXiv cs.AI· Byonggon Chun·· 13 小时前AI 评分52
多智能体内核优化循环在 FuriosaAI RNGD NPU 上学习新加速器的案例研究
A Case Study of a Multi-Agent Kernel-Optimization Loop That Learns a New AI Accelerator
AI 导读
该论文以 FuriosaAI RNGD NPU 为案例，构建 LLM 智能体循环，用 12 天在共享稀缺设备上优化三个 Gemma-4-12B 解码内核。循环自行编写并校验 DSL 文档摘要、用微基准测量芯片、记录编译器推导的合法性规则，并在工具链变化时复查。最终内核相对官方基线取得 9.293x 几何平均加速，每个内核的周期数都在仅搬运其权重所需周期的 1.25x 以内。
正文 · AI 翻译
摘要：前沿大语言模型能为大多数单算子基准任务编写正确的 CUDA 内核，但在其很少接触过架构和编程语言的加速器上，准确率会大幅下降。我们展示了一个为此类加速器构建的 LLM 智能体循环的案例研究。我们的示例是 FuriosaAI RNGD NPU，使用一种较新且文档稀疏的 Rust DSL 编程，该循环在共享且稀缺的设备上，用 12 天时间优化了三个 Gemma-4-12B 解码内核。该循环构建自己的目标知识：它编写并检查 DSL 文档摘要，用微基准测试测量芯片，记录编译器推导出的合法性规则，并在工具链变化时重新审视这些知识，尽可能重新检查规则和测量结果。基于角色的搜索在每个内核的设计树上进行，探索整体内核设计，并在每个内核的最佳版本中累积小的已接受更改。由于设备时间稀缺且读数有噪声，廉价检查会在任何设备运行之前筛选新设计，而在运行后期，只有在设备上与最佳内核反复比较后，更改才会被接受。最终内核相比官方基线达到 9.293 倍的几何平均加速，每个内核的周期数都在仅移动其权重所需周期的 1.25 倍以内。我们的提示词、性能分析器和验收测试可在 此 https URL 获取。
| 评论： | 7 页，3 幅图，2 张表。MICRO 2026 NPU 模型优化竞赛第 1 轮。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；硬件架构（cs.AR）；编程语言（cs.PL） |
| 引用为： | arXiv:2610.38329 [cs.LG] |
| （或 arXiv:2610.38329v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38329 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Byonggon Chun [查看电子邮件]
[v1]
2026 年 10 月 28 日星期三 06:29:02 UTC（137 KB）
来源：arXiv cs.AI · arxiv.org