arXiv cs.CL· Ziyun Liu, Fengmiao Bian, Jian-Feng Cai·· 11 小时前AI 评分31
FILO：面向低秩适配的统一 Fisher 几何框架
FILO: A Unified Fisher-Geometric Framework for Low-Rank Adaptation
AI 导读
研究者提出 FILO，一个面向低秩适配（LoRA）的统一 Fisher 几何框架，可在不直接求逆奇异算子的情况下完成因子空间更新，并按因子空间求逆策略与 W 空间预条件器 F_t 将现有 LoRA 优化器归为四类。
正文 · AI 翻译
摘要：低秩适配（LoRA）将权重矩阵 $W$ 重新参数化为两个低秩因子的乘积，但将因子映射到权重矩阵的生成器雅可比矩阵 $J_G$ 是秩亏的，因此由任意 $W$ 空间预条件子 $F_t$ 诱导的因子空间预条件子 $J_G^* F_t J_G$ 是奇异的， consequently 标准链式法则无法唯一地求逆，以将预条件后的 $W$ 空间方向映射回因子空间更新。因此，我们提出 FILO，一个用于低秩适配的统一 Fisher 几何框架，它无需直接求逆该奇异算子即可实现因子更新，并按因子空间求逆策略和 $W$ 空间预条件子 $F_t$ 对现有 LoRA 优化器进行分类。现有方法沿这些轴占据四个族：因子空间自适应更新、$J_G^* J_G$ 的块对角代理、Frobenius 残差伪逆方法以及黎曼流形方法。在此设计空间中，梯度统计感知的 $F_t$ 与 $O((m+n)r)$ 内存下的闭式因子空间求解相结合仍未被充分探索。我们通过采用 $W$ 上的 Adafactor 对角 Kronecker 预条件子 $H_t$，并从所得因子空间解族中选择使两个因子贡献之间 $H_t$ 加权不平衡最小化的元素，将 FILO 实例化为 FILO-Adafactor。根据构造，诱导的权重更新是在 $H_t$ 加权范数下对预条件 $W$ 空间方向的最近 LoRA 近似。在 E2E 上的 GPT-2、GLUE、ARC 和 GSM8K 上的 Mistral-7B 与 Qwen2-7B，以及扩散模型个性化任务中，FILO-Adafactor 及其动量变体与一组代表性 LoRA 优化器相比具有竞争力或有所改进，同时将峰值 GPU 内存保持在 LoRA 优化器水平。
| 评论： | 27 页 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.08734 [cs.LG] |
| （或此版本的 arXiv:2605.08734v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2605.08734 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ziyun Liu [查看电子邮件]
[v1]
2026 年 5 月 9 日星期六 06:37:44 UTC（6,368 KB）
[v2]
2026 年 11 月 5 日星期四 11:23:49 UTC（6,401 KB）
来源：arXiv cs.CL · arxiv.org