arXiv cs.AI· Irene Tenison, Stella Ahn, Miriam Kim, Ebtisam Alshehri, Lalana Kagal·· 11 小时前AI 评分31
LARS：通过序列压缩低秩子空间实现激活高效的微调
Activation-Efficient Fine-Tuning via Sequence-Compressed Low-Rank Subspaces
AI 导读
LARS（Low-memory Activation-Rank Subspace）将适配器激活中间体的序列长度缩放从 O(BSRL) 降至 O(BRL)，在 S=1024 时相比 LoRA 降低 GPU 内存 23%、CPU 内存 47.8%，且节省幅度随上下文长度增加。
正文 · AI 翻译
摘要：参数高效微调（PEFT）已成为适配大语言模型（LLM）的标准方法。然而，尽管减少了可训练参数数量，许多 PEFT 方法仍受限于随序列长度线性增长的 token 级激活中间量，导致其内存受限，限制了它们在长上下文和端侧适配中的实用性。与先前保留 token 级适配器激活的内存高效 PEFT 方法不同，LARS（低内存激活秩子空间）通过在序列级低秩子空间内执行适配，将存储的适配器激活中间量的序列长度缩放从 O(BSRL) 降至 O(BRL)。通过池化特征提取、低秩子空间调制和残差投影，在 S = 1024 时，LARS 相对 LoRA 将整体内存占用在 GPU 上降低 23%，在 CPU 上降低 47.8%，且相对节省随上下文长度增加而增大。在推理、理解、长上下文、检索和 token 级任务上的实验表明，LARS 在保持与 LoRA 相当的性能的同时，显著提升了内存效率。除 GPU 外，LARS 还将每个优化步骤的平均 CPU 功耗和能耗分别降低 22.43% 和 22.06%。这些结果表明，激活高效的适配为资源受限和端侧的大语言模型微调提供了一条实用路径。
| 评论： | 已被 AACL 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.22783 [cs.LG] |
| （或 arXiv:2604.22783v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.22783 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Irene Tenison [查看邮箱]
[v1]
2026年4月3日星期五 17:05:33 UTC（9,177 KB）
[v2]
2026年10月16日星期五 15:29:14 UTC（9,633 KB）
来源：arXiv cs.AI · arxiv.org