研究提出投影核度量注意力头子空间相似度
热点事件持续更新
研究提出投影核度量注意力头子空间相似度
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Hiroaki Yamagiwa、Yusuke Takase 与 Hidetoshi Shimodaira 提出用基于主夹角的投影核（Projection Kernel，PK）量化注意力头权重矩阵所张成子空间之间的相似度。 在 GPT2-small、BLOOM-560M 和 Qwen2-0.5B-Instruct 上，PK 比 Composition Score 等既有指标更清晰地复现了 IOI 任务中已知的头间交互。
AI 根据报道生成 · 2 小时前更新
最新进展11月4日 13:00
用投影核测量注意力头权重子空间之间的亲和度报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv cs.CL用投影核测量注意力头权重子空间之间的亲和度
研究提出用基于主夹角的投影核（PK）量化注意力头权重矩阵所张成子空间之间的相似度，在 GPT2-small、BLOOM-560M 和 Qwen2-0.5B-Instruct 上，PK 比 Composition Score 等既有指标更清晰地复现了 IOI 任务中已知的头间交互。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。