跳到正文
热点事件持续更新

研究质疑注意力头偏见归因方法

1 篇报道1 个报道来源22 小时前更新

先了解这件事

AI 综述

S. M Seefat Alam 发表论文,审计将大语言模型社会偏见定位到单个注意力头、再通过消融去除的方法。论文指出,这类方法只用公平性指标的变化来验证效果,从未证明筛选注意力头所用的统计量确实测量了偏见。 在 Qwen-2.5-7B-Instruct 与 Llama-3.1-8B-Instruct 上,研究发现头图与标签盲的响应长度图高度相关,相关系数分别为 ρ = -0.950 和 -0.768,即被选中的头与响应长度这一与偏见标签无关的因素高度同步。

AI 根据报道生成 · 14 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. arXiv cs.CL
    偏见头到底测了什么?头级偏见归因中的不可识别性

    研究审计了 Qwen-2.5-7B-Instruct 与 Llama-3.1-8B-Instruct 上的头级偏见归因方法,发现头图与标签盲的响应长度图相关性达 ρ = -0.950 和 -0.768。

本事件热度走势

可比范围当前
5
可比范围峰值
811月19日 22:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。