arXiv cs.AI· Shenghui Li, Thiemo voigt·· 11 小时前AI 评分24
预算受限下的 LoRA：面向适配器集群的功能感知事后压缩方法 FRA
LoRA on a Budget: Function-Aware Post-Hoc Compression for Adapter Fleets
AI 导读
研究者提出 Functional Rank Allocation（FRA），一种无需标注的事后压缩方法，用于在共享 rank 预算下为 LoRA 适配器集群分配各层 rank。FRA 通过端到端测量单模块截断构建功能 rank-失真前沿，再用动态规划搜索并复测候选，最后做精确 minimax 分配。在三个公开集群共 78 个适配器上，FRA 在受限预算下优于统一谱压缩的最差情况与尾部效用。
正文 · AI 翻译
摘要：低秩适配（LoRA）已成为将基础模型高效特化为众多任务和用户特定变体的关键机制。在共享资源预算下服务多个 LoRA 适配器，使事后压缩转变为两级分配问题：秩必须在每个适配器内跨层分配，并在整个适配器集群内跨适配器分配。尽管训练后的 LoRA 包含大量谱冗余，但仅靠谱重构无法确定一个适配器在功能上能容忍多少压缩。我们通过为每个适配器构建功能秩-失真前沿来表述集群压缩，随后在共享秩预算下进行集群级极小极大分配。给定精确前沿，这种分解等价于对所有层秩的联合优化。我们提出功能秩分配（FRA），一种用于构建实用前沿的无标签方法。FRA 端到端地测量孤立模块截断，将这些测量用作由动态规划求解的加性搜索代理，重新测量每个完整候选，并在对构建的前沿进行精确极小极大分配之前，与互补的谱提议取低风险包络。在来自三个公开集群的 78 个适配器上，FRA 在受限预算情形下相比均匀谱压缩提升了最坏情况和尾部效用。固定预算探针表明，孤立成本能很好地为候选排序，但其校准会随提议形状而变化；因此端到端验证和谱提议限制了功能搜索误差。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.36386 [cs.AI] |
| （或 arXiv:2610.36386v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.36386 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shenghui Li [查看邮箱]
[v1]
2026年10月26日 星期一 23:02:12 UTC（50 KB）
来源：arXiv cs.AI · arxiv.org