你的 NPU 准备好跑 LLM 了吗？拆解移动端 LLM 推理中被忽视的效率瓶颈

查看 PDF HTML（实验性）

摘要：在移动设备上部署大型语言模型（LLM）可增强隐私并降低延迟，但受限于硬件效率低下而受到严重制约。我们提出了首个全面的、跨层的移动 LLM 推理测量研究，涵盖五个主流框架（例如 this http URL 和 GENIE）以及三种硬件后端（CPU、GPU 和 NPU）。为支持这一分析，我们开发了 PowerBench，这是一个细粒度性能分析工具，可测量 LLM 吞吐量，并首次为移动 LLM 推理提供后端特定的能耗归因，超越了传统的设备级测量。我们进一步开展硬件微基准测试，以刻画移动 CPU、GPU 和 NPU 的内存系统性能与计算能力。我们的研究得出三项关键洞见：(1) 框架导致的性能差距在 NPU 上被显著放大，最高可达 $10\times$，原因在于卸载策略、未充分利用硬件的算子以及激活量化策略的差异。(2) 我们发现了一种明显的“阶段分化”，即 NPU 在计算受限的预填充阶段表现出色，而 CPU 在内存受限的解码阶段优于所有其他后端。这种分化源于 NPU 偏好大型、固定形状的工作负载，而这与解码的小内核、动态特性相冲突。(3) 后端特定的性能分析揭示了先前工作所忽略的大量调度优化空间。次优的线程配置、不协调的 NPU 睡眠延迟以及 CPU 轮询间隔会导致不必要的能耗。例如，仅调整 CPU 频率即可将能耗降低最高 $39.7\%$。基于这些发现，我们估计，在三个数据集上，面向能耗的配置可在 NPU 后端将能耗降低最高 $53.2\%$，凸显了移动 LLM 部署在进一步提升效率方面的巨大潜力。

提交历史

来自：Guanyu Cai [查看邮箱]
[v1] 2026年7月6日星期一 09:42:34 UTC（870 KB）
[v2] 2026年10月16日星期五 07:18:47 UTC（1,367 KB）