跳到正文
热点事件持续更新

研究者提出CIGA方法用于指令数据选择

1 篇报道1 个报道来源12 小时前更新

先了解这件事

AI 综述

Jia Gu、Liang Pang、Huawei Shen 提出内容不变梯度归因框架 CIGA,用于大语言模型指令微调中的数据选择,以缓解现有全局梯度归因方法对措辞、格式等表面形式扰动敏感、归因分数不一致的问题。 CIGA 先筛选对归因有影响且在语义保持扰动下稳定的层,再将归因信号与输入语义表示动态融合。多基准实验显示,CIGA 在表面形式扰动下排序更稳定,保持下游能力并提升平均性能,同时降低归因成本。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv cs.AI
    CIGA:面向 LLM 指令数据选择的内容不变梯度归因方法

    研究者提出内容不变梯度归因框架 CIGA,用于 LLM 指令微调中的数据选择,缓解现有全局梯度归因方法对措辞、格式等表面形式扰动敏感、归因分数不一致的表面形式偏差问题。CIGA 先筛选对归因有影响且在语义保持扰动下稳定的层,再将归因信号与输入语义表示动态融合。多基准实验显示,CIGA 在表面形式扰动下排序更稳定,保持下游能力并提升平均性能,同时降低归因成本。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。