arXiv cs.AI· Xu Zheng, Wei Cheng, Zhuomin Chen, Dongkuan Xu, Mo Sha, Jingchao Ni, Dongsheng Luo·· 12 小时前AI 评分41
利用手机 NPU 进行一阶 LoRA 训练
First-Order LoRA Training with Phone NPUs
AI 导读
一套新系统将 LoRA 训练中三次冻结权重乘法全部放到手机 NPU 上执行，训练图、适配器与优化器保留在 CPU，其输入梯度内核复用常驻权重分块与前向反量化器，避免转置权重拷贝。
正文 · AI 翻译
摘要：端侧微调让大型语言模型（LLM）能够从用户的私有数据中学习，而无需上传这些数据。低秩适配（LoRA）减少了可训练参数，但每个一阶训练步骤在前向传播、激活重计算和输入梯度计算期间仍要与冻结的基础模型权重相乘。手机的神经网络处理单元（NPU）在推理时已经持有这些权重；将其用于训练还需要计算输入梯度，而其推理接口不支持这一操作。我们提出一个系统，在 NPU 上运行全部三个冻结权重乘积，同时将训练图、适配器和优化器保留在 CPU 上。其输入梯度内核复用常驻的权重块和前向量化器，避免转置权重副本，并确保前向和反向使用相同的有效权重。为保持可用的梯度，系统根据梯度敏感度选择精度，并对半精度（FP16）输出应用逐行范围保护。其运行时融合剩余的 CPU 算子，并将 NPU 执行与适配器计算重叠，同时可恢复执行和热节流让训练能够作为后台任务继续进行。我们在两个 Qualcomm Snapdragon 平台上使用来自 Qwen 和 Llama 系列的四个 LLM 对其进行评估。我们的工作负载涵盖在手机上提供标签的夜间个性化以及公开的 LaMP-2 基准；比较对象包括优化的 CPU 训练器、手机 GPU 训练器、仅前向训练和 GPU 训练的参考结果。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.24816 [cs.LG] |
| （或 arXiv:2610.24816v2 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.24816 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xu Zheng [查看电子邮件]
[v1]
2026年10月17日星期六 18:49:37 UTC（700 KB）
[v2]
2026年10月26日星期一 18:57:12 UTC（697 KB）
来源：arXiv cs.AI · arxiv.org