新方法定位Transformer计数效应注意力头
热点事件持续更新
新方法定位Transformer计数效应注意力头
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Jipeng Li等作者提出受控证据聚合（CEA）与平衡效用因果选择（BUC）方法，通过改变提示中两个符号的计数与顺序，测量冻结Transformer在两个答案词上的偏好变化，以定位影响决策的注意力头。 在Pythia-410M中，按四种顺序条件各选出的1至12个注意力头被消融后，可消除65.5%至91.6%的计数效应。
AI 根据报道生成 · 27 分钟前更新
最新进展10月28日 12:00
通过受控符号输入因果定位 Transformer 中的证据效应报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv cs.CL通过受控符号输入因果定位 Transformer 中的证据效应
研究提出受控证据聚合（CEA）与平衡效用因果选择（BUC），通过改变提示中两个符号的计数与顺序，定位影响 Transformer 决策的注意力头。在 Pythia-410M 中，按四种顺序条件各选出的 1-12 个注意力头被消融后，可消除 65.5-91.6% 的计数效应。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。