跳到正文
热点事件持续更新

研究者提出分组秩感知模型合并方法GRAM

1 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

研究者 Di Wu、Shuaidong Pan 提出分组秩感知模型合并方法 GRAM:用任务向量之间的主角度几何关系判断哪些任务应合并,再在每组内做标准 SVD 合并,合并时只需微调权重。 据该研究称,仅增加一个模型(K=2)时,GRAM 能显著缓解子空间干扰,在 GLUE(Flan-T5)、8 任务 CLIP 视觉以及 Qwen2-7B-Instruct 的四个中英文医疗 LoRA 指令微调上均优于此前合并方法。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月22日
  1. arXiv cs.CL
    GRAM:基于子空间对齐的分组秩感知模型合并方法

    研究者提出分组秩感知模型合并方法 GRAM,利用任务向量之间的主角度几何关系判断哪些任务应合并,再在每组内执行标准 SVD 合并,合并时仅需微调权重。仅增加一个模型(K=2)时,GRAM 显著缓解子空间干扰,在 GLUE(Flan-T5)、8 任务 CLIP 视觉以及 Qwen2-7B-Instruct 的四个中英文医疗 LoRA 指令微调上均优于此前合并方法。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。