集中失活注意力头对多步推理影响更大
热点事件持续更新
集中失活注意力头对多步推理影响更大
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Karol Struniawski 发表论文，比较集中式与弥散式注意力头失活对自回归大模型多步推理的影响。在 GSM8K 的 250 组配对推导上，集中掩码比同等预算的弥散 i.i.d. dropout 造成更严重的退化：Qwen3-8B 准确率从 91.2% 降至 78.8%（-12.4 个百分点，p=5.5×10⁻⁶），LLaMA-3.1-8B-Instruct 从 84.0% 降至 76.8%（-7.2 个百分点，p=0.0198）。
AI 根据报道生成 · 46 分钟前更新
最新进展11月11日 13:00
集中式与弥散式注意力头丢弃下自回归多步推理的退化差异报道时间线
沿着报道，了解事件的不同侧面。
11月11日
- arXiv cs.AI集中式与弥散式注意力头丢弃下自回归多步推理的退化差异
在 GSM8K 的 250 组配对推导上，集中爆发的注意力头掩码比同等预算的弥散 i.i.d. dropout 造成更严重的推理退化：Qwen3-8B 准确率从 91.2% 降至 78.8%（-12.4 pp，p=5.5×10⁻⁶），LLaMA-3.1-8B-Instruct 从 84.0% 降至 76.8%（-7.2 pp，p=0.0198）。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。