跳到正文
热点事件持续更新

定向特征学习:六种方法在15项任务上受控比较

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Jonathan Drechsel 与 Steffen Herbold 发表论文,将“为预设概念构建单一特征”定义为定向特征学习,并在 15 项任务、10 个语言模型上受控比较六种方法:激活值、激活梯度、参数梯度三种模型信号,与对比均值、学习式一维编码器-解码器两种估计器组合,含 CAA、GRADIEND 及四个新方法,另与预训练 SAE 对照。 论文称,干预宜用梯度、检测宜用激活值。这一分工是作者基于上述比较得出的结论,报道未给出各方法的具体得分。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.CL
    语言模型定向特征学习:干预用梯度、检测用激活值

    研究将定向特征学习定义为为预设概念构建单一特征,在 15 项任务和 10 个语言模型上对比激活值、激活梯度、参数梯度三种模型信号与对比均值、学习式一维编码器-解码器两种估计器组合出的六种方法(含 CAA、GRADIEND 及四个新方法)与预训练 SAE。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。