语言模型数值偏好的因果研究

Hongnian Huang 与 Hongliang Liu 发表研究，以 Qwen3-4B 为案例，通过扰动探测与梯度归因定位神经元并做激活干预，考察语言模型的数值偏好如何在层与 token 间被处理。研究发现，在答案输出前做一次编辑可把 17 改为 15，而两次运行都先输出 1。 替换单个注意力头或其余注意力头的输出都能恢复 17，但对 7 与 5 的最终 log-odds 影响不同；将后续 MLP 输出固定在编辑运行的值上，该效应差距从 0.119 nat 降至 0.0025 nat。

AI 根据报道生成 · 51 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。