arXiv cs.AI· Mehmet Emre Akbulut, Johannes Geier, Ulf Schlichtmann·· 10 天前AI 评分22
MemFLoRA：面向边缘端 CNN 适配的内存下限 LoRA
MemFLoRA: Memory-Floor LoRA for CNN Adaptation at the Edge
AI 导读
MemFLoRA 是一种面向 CNN 边缘适配的低秩适配器，以“内存优先”为设计原则，冻结下投影、训练尺度匹配的上投影，并将反向传播所需保存的状态压缩到低秩分支。在三个 HAR 数据集和两个 CNN 骨干上，其保存激活内存较全量微调降低 98.5-98.7%，峰值训练状态内存降低 94.9-97.3%，同时匹配或超过 CNN PEFT 基线。该工作已被 ASP-DAC 2027 接收。
正文 · AI 翻译
摘要：当模型在部署后遇到用户、传感器或环境特定的变化时，设备端学习是必要的。尽管参数高效微调（PEFT）方法，特别是低秩适配（LoRA）变体，能够在边缘端实现高效适配，但卷积神经网络（CNN）适配的瓶颈资源往往不是可训练参数的数量，而是必须保留至反向传播的激活状态。本文提出了 Memory-Floor LoRA（MemFLoRA），这是一种低秩 CNN 适配器，其设计遵循内存优先原则，而非直接套用面向 Transformer 的 LoRA。我们并非仅仅减少可训练权重，而是定义了一个激活内存下限准则：可训练的反向计算不得依赖于全宽度的层输入。由此得到的适配器冻结下投影，训练尺度匹配的上投影，并将评估模式的主干归一化与激活最小化的反向规则相结合，从而将保存的状态缩减至低秩分支。在三个人类活动识别（HAR）数据集和两个 CNN 主干上，针对受试者、身体位置和传感器放置变化进行评估，MemFLoRA 相对于完全微调将保存激活内存减少了 98.5-98.7%，峰值训练状态内存减少了 94.9-97.3%，同时达到或超过 CNN PEFT 基线。
| 评论： | 已被第 32 届亚洲与南太平洋设计自动化会议（ASP-DAC 2027）接收，2027 年 1 月 25-28 日，日本东京。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.08669 [cs.LG] |
| （或 arXiv:2610.08669v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08669 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Mehmet Emre Akbulut [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 16:51:20 UTC（3,934 KB）
来源：arXiv cs.AI · arxiv.org