跳到正文
热点事件持续更新

研究者提出LoRA适配器组压缩方法FRA

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Shenghui Li与Thiemo Voigt提出Functional Rank Allocation(FRA),一种无需标注的事后压缩方法,用于在共享rank预算下为LoRA适配器集群分配各层rank。 FRA先端到端测量单模块截断,构建功能rank-失真前沿,再用动态规划搜索并复测候选,最后做精确minimax分配。在三个公开集群共78个适配器上,FRA在受限预算下优于统一谱压缩的最差情况与尾部效用。

AI 根据报道生成 · 31 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv cs.AI
    预算受限下的 LoRA:面向适配器集群的功能感知事后压缩方法 FRA

    研究者提出 Functional Rank Allocation(FRA),一种无需标注的事后压缩方法,用于在共享 rank 预算下为 LoRA 适配器集群分配各层 rank。FRA 通过端到端测量单模块截断构建功能 rank-失真前沿,再用动态规划搜索并复测候选,最后做精确 minimax 分配。在三个公开集群共 78 个适配器上,FRA 在受限预算下优于统一谱压缩的最差情况与尾部效用。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。