跳到正文
热点事件持续更新

研究者提出上下文线性激活引导方法CLAS

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Brandon Hsu等研究者提出情境化线性激活引导方法CLAS,把激活引导拆成固定的引导方向和随上下文变化的引导系数,使引导强度能随输入调整,同时保留方向的可解释性。 据作者称,CLAS可在单次生成的不同片段上引导多种行为,这是固定强度方法做不到的;在多项引导基准和语言模型上,CLAS稳定优于标准线性激活引导,在标注数据有限时达到或超过ReFT与LoRA,所用方向还可作为概念监测器。上述比较结果来自作者报告。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. arXiv cs.CL
    CLAS:面向语言模型的情境化线性激活引导方法

    研究者提出情境化线性激活引导(CLAS),将激活引导分解为固定引导方向与随上下文变化的引导系数,从而在保持方向可解释性的同时让引导强度随输入变化。CLAS 还能在单次生成的不同片段上引导多种行为,这是固定强度方法无法做到的。在多项引导基准和语言模型上,CLAS 稳定优于标准线性激活引导,在标注数据有限时达到或超过 ReFT 与 LoRA,且所用方向可作为可靠的概念监测器。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。