arXiv cs.AI· Dmitry Redko (Applied AI Institute), Albert Fazlyev (AI Talent Hub, ITMO University), Konstantin Sozykin (Applied AI Institute), Maria Ivanova (YSDA, Applied AI Institute), Evgeny Burnaev (Applied AI Institute), Egor Shvetsov (Applied AI Institute)·· 10 小时前AI 评分48
预训练先验还是搜索反馈?LLM 智能体在硬件感知代码优化中的行为研究
Prior Knowledge or Search? A Study of LLM Agents in Hardware-Aware Code Optimization
AI 导读
三项受控实验发现,LLM 在代码优化任务中高度依赖预训练先验,而非环境反馈或智能体结构。纯黑盒优化中 LLM 表现为贪心优化器;零样本 kernel 生成时显式输入尺寸信息无可测影响,模型在不同尺寸和温度下收敛到相同 kernel 参数,面对罕见 kernel 尺寸时性能急剧下降。反馈循环优化中 CUDA 随迭代单调提升,TVM IR 却持续退化,表明低密度语言下 kernel 优化会变差。
正文 · AI 翻译
摘要:LLM 发现与优化系统正日益应用于各个领域,实现了一种通用的“提议-评估-修正”循环。此类优化或发现通过对来自环境的反馈进行上下文条件化而推进。然而,随着现代 LLM 智能体的结构日益复杂,很难评估哪些组件贡献最大,以及这种探索何时、如何失败。我们通过三项受控实验回答了这些问题。我们的发现:(1)在纯黑盒优化中,LLM 表现为贪心优化器。(2)在零样本内核生成中,提供显式的输入尺寸信息没有可测量的效果,无论尺寸或温度如何,模型都收敛到相同的内核参数,仿佛尺寸指令不可见。此外,当任务是为不常见的内核尺寸执行内核优化时,无论使用何种语言,性能都会急剧下降。(3)在反馈循环内核优化中,CUDA 在迭代反馈下单调提升,而 TVM IR 则主动退化,这表明当模型在低密度语言下运行时,内核优化会退化。我们的结果得出结论:LLM 在代码优化任务中高度依赖预训练先验,而非所提供的反馈或智能体结构。
| 主题: | 人工智能(cs.AI);机器学习(cs.LG);软件工程(cs.SE) |
| 引用为: | arXiv:2605.19782 [cs.AI] |
| (或 arXiv:2605.19782v2 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2605.19782 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Dmitry Redko [查看邮箱]
[v1]
2026年5月19日星期二 12:48:48 UTC(41,572 KB)
[v2]
2026年11月18日星期三 15:24:14 UTC(17,208 KB)
来源:arXiv cs.AI · arxiv.org