DiDi-Merging:动态模型合并的秩分配方法
热点事件持续更新
DiDi-Merging:动态模型合并的秩分配方法
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Guodong Du、Wanyu Lin 提出 DiDi-Merging 动态模型合并方法:通过可微秩选择,为共享参数与专家参数联合分配低秩容量,再做无数据参数空间精修。在八任务 ViT-B/32 基准上,小型配置以单骨干 1.24 倍存储达到 89.3% 平均准确率(98.7% 归一化保留率),中型配置以 1.4 倍存储达到 89.8%。 消融显示,移除精修会使中型配置下降 4.3 个百分点;静态合并加均匀恢复的对照组比小型配置低 4.7–8.9 个百分点。作者称,主要结果假设任务身份已知,实际路由以及在固定容量下任务数更多时的准确率仍是待评估问题。
AI 根据报道生成 · 54 分钟前更新
最新进展10月21日 12:00
DiDi-Merging:动态模型合并的瘦身方案报道时间线
沿着报道,了解事件的不同侧面。
10月21日
- arXiv cs.CLDiDi-Merging:动态模型合并的瘦身方案
DiDi-Merging 通过可微秩选择为共享参数与专家参数联合分配低秩容量,并进行无数据参数空间精修。在八任务 ViT-B/32 基准上,小型配置以单骨干 1.24 倍存储达到 89.3% 平均准确率(98.7% 归一化保留率),中型配置以 1.4 倍存储达到 89.8%。移除精修会使中型配置下降 4.3 个百分点,静态合并加均匀恢复的对照组比小型配置低 4.7-8.9 个百分点。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。