跳到正文
热点事件持续更新

ToPA:分块Toeplitz参数高效微调方法

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Sicong Li 等研究者提出参数高效微调方法 ToPA,用分块 Toeplitz 矩阵乘积替代低秩或稀疏参数化来更新模型权重,从而避免显式秩与稀疏约束,并通过缩短乘法链稳定训练。 作者称,理论分析表明分块 Toeplitz 矩阵乘积在更短链长下可逼近任意矩阵,表达力强于现有低秩与稀疏参数化。该方法已在 21 个 NLP 与 CV 数据集、5 种模型架构上完成验证。

AI 根据报道生成 · 44 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月19日
  1. arXiv cs.AI
    ToPA:用分块 Toeplitz 矩阵实现高表达力高效微调

    研究者提出 PEFT 方法 ToPA,用分块 Toeplitz 矩阵乘积替代低秩或稀疏参数化来更新权重,避免显式秩与稀疏约束,并通过缩短乘法链稳定训练。理论分析表明分块 Toeplitz 矩阵乘积在更短链长下可逼近任意矩阵,表达力强于现有低秩与稀疏参数化。该方法在 21 个 NLP 与 CV 数据集、5 种模型架构上完成验证。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。