研究:LLM代码优化依赖预训练先验而非反馈
热点事件持续更新
研究:LLM代码优化依赖预训练先验而非反馈
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Dmitry Redko等作者发表受控实验研究,结论是LLM在硬件感知代码优化任务中高度依赖预训练先验,而非环境反馈或智能体结构。 三项实验分别显示:纯黑盒优化中LLM表现为贪心优化器;零样本kernel生成时,显式输入尺寸信息无可测影响,模型在不同尺寸和温度下收敛到相同kernel参数,面对罕见kernel尺寸时性能急剧下降。 反馈循环优化中,CUDA随迭代单调提升,TVM IR却持续退化,作者据此称低密度语言下的kernel优化会变差。
AI 根据报道生成 · 56 分钟前更新
最新进展11月20日 13:00
预训练先验还是搜索反馈?LLM 智能体在硬件感知代码优化中的行为研究报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.AI预训练先验还是搜索反馈?LLM 智能体在硬件感知代码优化中的行为研究
三项受控实验发现,LLM 在代码优化任务中高度依赖预训练先验,而非环境反馈或智能体结构。纯黑盒优化中 LLM 表现为贪心优化器;零样本 kernel 生成时显式输入尺寸信息无可测影响,模型在不同尺寸和温度下收敛到相同 kernel 参数,面对罕见 kernel 尺寸时性能急剧下降。反馈循环优化中 CUDA 随迭代单调提升,TVM IR 却持续退化,表明低密度语言下 kernel 优化会变差。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。