arXiv cs.AI· Sicong Li, Qianqian Xu, Zhiyong Yang, Zitai Wang, Longtao Huang, Xiaochun Cao, Qingming Huang·· 11 小时前AI 评分18
ToPA：用分块 Toeplitz 矩阵实现高表达力高效微调
ToPA: Block-wise Toeplitz Adaptation for Expressive and Efficient Fine-Tuning
AI 导读
研究者提出 PEFT 方法 ToPA，用分块 Toeplitz 矩阵乘积替代低秩或稀疏参数化来更新权重，避免显式秩与稀疏约束，并通过缩短乘法链稳定训练。理论分析表明分块 Toeplitz 矩阵乘积在更短链长下可逼近任意矩阵，表达力强于现有低秩与稀疏参数化。该方法在 21 个 NLP 与 CV 数据集、5 种模型架构上完成验证。
正文 · AI 翻译
摘要：参数高效微调（PEFT）已成为适配大型预训练模型的主流策略。在 PEFT 技术中，基于重参数化的方法，尤其是采用低秩或稀疏结构的方法，受到了广泛关注。然而，这些方法往往不如全量微调。具体而言，低秩方法限制了更新的秩，这与全量微调固有的高秩特性不一致。相比之下，基于稀疏性的技术限制了参数空间的灵活性，并损害了权重之间的连通性。为克服这些局限，我们探索使用 Toeplitz 矩阵，其元素沿每条对角线恒定，因此无需施加显式的秩或稀疏约束即可提供紧凑的参数化。一种直接的方法是通过 Toeplitz 矩阵的乘积来更新权重。然而，与 RNN 类似，长乘法链往往导致梯度不稳定。为解决这一问题，我们提出 \textbf{ToPA}，这是该思想更精细的版本，用分块 Toeplitz 矩阵替代标准 Toeplitz 矩阵，大幅提升每个因子的容量并缩短链长，从而稳定训练并提升表达能力。我们从理论上证明，分块 Toeplitz 矩阵的乘积在更短的链长下即可逼近任意矩阵，这为 ToPA 的结构设计提供了依据。此外，我们证明 ToPA 比现有的低秩和稀疏参数化具有更强的表达能力。在 21 个 NLP 和 CV 数据集、涵盖 5 种模型架构上的实证评估一致验证了 ToPA 的有效性。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.22883 [cs.AI] |
| （或 arXiv:2610.22883v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22883 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sicong Li [查看邮箱]
[v1]
2026年10月16日星期五 03:38:18 UTC（6,086 KB）
来源：arXiv cs.AI · arxiv.org