跳到正文
热点事件持续更新

DiDi-Merging:动态模型合并的秩分配方法

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Guodong Du、Wanyu Lin 提出 DiDi-Merging 动态模型合并方法:通过可微秩选择,为共享参数与专家参数联合分配低秩容量,再做无数据参数空间精修。在八任务 ViT-B/32 基准上,小型配置以单骨干 1.24 倍存储达到 89.3% 平均准确率(98.7% 归一化保留率),中型配置以 1.4 倍存储达到 89.8%。 消融显示,移除精修会使中型配置下降 4.3 个百分点;静态合并加均匀恢复的对照组比小型配置低 4.7–8.9 个百分点。作者称,主要结果假设任务身份已知,实际路由以及在固定容量下任务数更多时的准确率仍是待评估问题。

AI 根据报道生成 · 54 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月21日
  1. arXiv cs.CL
    DiDi-Merging:动态模型合并的瘦身方案

    DiDi-Merging 通过可微秩选择为共享参数与专家参数联合分配低秩容量,并进行无数据参数空间精修。在八任务 ViT-B/32 基准上,小型配置以单骨干 1.24 倍存储达到 89.3% 平均准确率(98.7% 归一化保留率),中型配置以 1.4 倍存储达到 89.8%。移除精修会使中型配置下降 4.3 个百分点,静态合并加均匀恢复的对照组比小型配置低 4.7-8.9 个百分点。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。