arXiv cs.AI· Karol Struniawski·· 10 小时前AI 评分29
集中式与弥散式注意力头丢弃下自回归多步推理的退化差异
Breakdown of Autoregressive Multi-Step Reasoning Under Concentrated vs. Diffuse Attention Head Dropout
AI 导读
在 GSM8K 的 250 组配对推导上，集中爆发的注意力头掩码比同等预算的弥散 i.i.d. dropout 造成更严重的推理退化：Qwen3-8B 准确率从 91.2% 降至 78.8%（-12.4 pp，p=5.5×10⁻⁶），LLaMA-3.1-8B-Instruct 从 84.0% 降至 76.8%（-7.2 pp，p=0.0198）。
正文 · AI 翻译
摘要：在长时间清醒状态下，哺乳动物新皮层网络会经历局部、短暂的神经元静默期，称为 off-states。本文研究类似时空集中的干扰如何影响自回归大语言模型（LLM）的顺序推理。我们在 GSM8K 基准上对两个 8B 模型（Qwen3-8B 和 LLaMA-3.1-8B-Instruct）评估了 250 对配对推导，将注意力头掩码的聚集性爆发与预算匹配的弥散 i.i.d. dropout 进行对比。集中爆发会导致显著的推理退化：在起始参数 $\mathcal{B}=0.10$（调度约 $5.7\%$ 的脆弱头-令牌体积）时，Qwen3-8B 的准确率从弥散噪声下的 $91.2\%$ 降至爆发 dropout 下的 $78.8\%$（$\Delta = -12.4$ 个百分点 [pp]，精确 McNemar $p = 5.5 \times 10^{-6}$），而 LLaMA-3.1-8B-Instruct 从 $84.0\%$ 降至 $76.8\%$（$\Delta = -7.2$ pp，$p = 0.0198$）。相反，通过分层五分位匹配将相同的累积预算均匀分散到各生成步骤，退化则明显更轻（Qwen 保持 $91.2\%$，LLaMA 保持 $84.0\%$）。在一项探索性析因解离（$N=100$）中，单步 dropout 密度与单次调度抽样中的急剧下降相关（Qwen 上 $-10.0$ pp，$p_{\text{holm}} = 0.0425$），而多令牌连续性呈现出不确定的累积趋势（$-7.0$ pp，$p_{\text{holm}} = 0.1892$）。错误分析表明，Qwen 的失败反映为格式化响应内的推导错误（条件准确率下降 $-11.4$ pp），而在 LLaMA 中，$22.2\%$ 的不一致损失缺少最终答案格式行（条件差距缩小至 $-5.0$ pp）。这些发现表明，自回归推理链特别容易受到集中结构性干扰的影响，为 transformer 架构的容错性提供了实证基准。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.14209 [cs.AI] |
| （或此版本的 arXiv:2611.14209v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.14209 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Karol Struniawski 博士 [查看电子邮件]
[v1]
2026年11月10日星期二 15:29:57 UTC（129 KB）
来源：arXiv cs.AI · arxiv.org