arXiv cs.CL· Jorge L. Ruiz Williams·· 10 天前AI 评分22
Attention-Mass Condensation 如何用于稀疏解码
Attention-Mass Condensation for Sparse Decoding
AI 导读
研究提出用精确遗漏质量恒等式和下游余量条件刻画稀疏解码中注意力质量集中与贪心决策稳定性的区别，并在 Qwen2-0.5B 上测试了查询相关的均值池化块选择器。
正文 · AI 翻译
摘要：注意力质量集中为稀疏解码创造了机会，但仅保留质量并不能保证稳定的贪心决策：检索误差、被省略的值方向以及递归解码都至关重要。我们通过一个精确的省略质量恒等式和一个充分的下游裕度条件来形式化这一区别，然后刻画了一个查询相关的均值池化块选择器。在 Qwen2-0.5B 上，一次配对的全新选择扫描覆盖了 97--769 个位置的支持集、2K--16K 的上下文，以及每个上下文的五个前缀。主要的精确匹配结果是，在 60 次运行中，没有任何一次在 128 个 token 内与稠密解码保持完全一致。分布质量则有所不同：对于至少 193 的支持集，九个上下文-支持条件中有七个的教师强制续写困惑度变化中位数在稠密解码的 5\% 以内，但提示级别的范围包含严重的 16K 离群值。所有七个教师强制匹配率低于 70\% 的运行，其困惑度增幅都超过 100\%；这些观察来自两个前缀，提示了一种警示状态，而非通用阈值。所测量的困惑度是在稠密模型自身续写上的教师强制结果，而非稀疏模型的自由运行输出。单独的检索和注意力质量探测说明了为什么仅捕获质量并不能保证检索或决策。孤立的算子计时无法确立质量匹配的加速或端到端服务速度。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2602.06317 [cs.LG] |
| （或使用 arXiv:2602.06317v3 [cs.LG] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2602.06317 由 DataCite 颁发的 arXiv DOI |
|
| 相关 DOI： | https://doi.org/10.5281/zenodo.18383733
链接到相关资源的 DOI |
提交历史
来自：Jorge Ruiz Williams [查看电子邮件]
[v1]
2026年2月6日星期五 02:32:42 UTC（12 KB）
[v2]
2026年2月9日星期一 21:18:55 UTC（15 KB）
[v3]
2026年10月7日星期三 15:18:06 UTC（14 KB）
来源：arXiv cs.CL · arxiv.org