移动端LLM推理跨层测量与PowerBench工具
热点事件持续更新
移动端LLM推理跨层测量与PowerBench工具
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Guanyu Cai等作者发表移动端LLM推理跨层测量研究，并提出PowerBench工具。研究覆盖五个主流框架和CPU、GPU、NPU三类硬件后端，发现框架差异在NPU上被放大至最高10倍，原因包括卸载策略、算子利用不足与激活量化差异。 研究还发现“阶段分化”：NPU擅长计算密集的prefill，CPU在内存密集的decoding上优于其他后端。作者称，仅调整CPU频率即可降低最高39.7%能耗；面向能耗的配置在NPU后端三个数据集上可降低最高53.2%能耗。
AI 根据报道生成 · 50 分钟前更新
最新进展10月19日 12:00
你的 NPU 准备好跑 LLM 了吗？拆解移动端 LLM 推理中被忽视的效率瓶颈报道时间线
沿着报道，了解事件的不同侧面。
10月19日
- arXiv cs.AI你的 NPU 准备好跑 LLM 了吗？拆解移动端 LLM 推理中被忽视的效率瓶颈
一项跨层测量研究显示，移动端 LLM 推理中框架差异在 NPU 上被放大至最高 10 倍，源于卸载策略、算子利用不足与激活量化差异。研究还发现明显的“阶段分化”：NPU 擅长计算密集的 prefill，CPU 则在内存密集的 decoding 上优于其他后端。仅调整 CPU 频率即可降低最高 39.7% 能耗，面向能耗的配置在 NPU 后端三个数据集上可降低最高 53.2% 能耗。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。