arXiv cs.CL· Rong Huang, Yi Xiong, Yuan-Yuan Cheng, Xiao-Ming Fu·· 13 小时前AI 评分26
分层低秩重参数化实现参数高效微调
Hierarchical Low-Rank Reparameterization for Parameter-Efficient
AI 导读
研究者提出一种分层低秩重参数化方法，将 PEFT 的可训练参数重组为近似方阵并递归做低秩分解，逐级压缩参数量。该方法与 LoRA、DoRA、MoSA、RaSA 结合，在 LLaMA-3.1-8B 和 Qwen2.5-7B 的常识推理及 GSM8K 数学推理实验中，同等可训练参数预算下配合 LoRA 或 DoRA 表现更优。
正文 · AI 翻译
摘要：参数高效微调（PEFT）方法通过引入少量可训练参数来适配大模型。然而，我们发现这些参数仍存在冗余，可以在保持较强任务性能的同时进一步压缩。为此，我们提出了一种新颖的分层低秩重参数化方法。其核心思想是将 PEFT 方法的可训练参数重组为一个近似方阵，然后通过低秩分解来表示它，并且可以递归地应用。这形成了一种多级结构，其中因子逐级压缩，从而大幅减少可训练参数的数量。在我们的实验中，我们将这种重参数化与 LoRA、DoRA、MoSA 和 RaSA 相结合。我们在 LLaMA-3.1-8B 和 Qwen2.5-7B 上评估常识推理，并在 LLaMA-3.1-8B 上额外进行 GSM8K 数学推理实验。在相当的可训练参数预算下，我们的方法与 LoRA 或 DoRA 结合取得了更好的性能。此外，当原始方法的参数数量被压缩约一个数量级时，我们的方法仍能保持有竞争力的任务性能，甚至在八个常识推理基准上的平均准确率超过相应的基线。
| 评论： | 14 页，2 幅图，10 张表，包括参考文献和附录 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.37068 [cs.CL] |
| （或 arXiv:2610.37068v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37068 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiao-Ming Fu [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 11:34:03 UTC（60 KB）
来源：arXiv cs.CL · arxiv.org