arXiv cs.AI· Debabrata Mahapatra, Shubham Agarwal, Apoorv Saxena, Subrata Mitra·· 3 天前AI 评分29
RCStat：在 Transformer 中利用相对情境化的统计框架
RCStat: A Statistical Framework for using Relative Contextualization in Transformers
AI 导读
研究者提出 RCStat 统计框架，用随机变量 Relative Contextualization（RC）量化注意力机制中一组 token 对另一组 token 的影响，无需重训练即可在推理时估计。
正文 · AI 翻译
摘要：识别哪些 token 和激活值真正影响模型预测，对于大型自回归语言模型的效率和可解释性都至关重要。然而在实践中，token 重要性通常是从注意力分布中推断的，而注意力分布将上下文相关性与 softmax 归一化效应纠缠在一起，模糊了 token 和注意力头之间的相对影响。我们提出 $\textbf{RCStat}$，一个用于量化注意力机制中上下文影响的统计框架。其核心是 $\textbf{相对上下文化（RC）}$，一个随机变量，用于衡量在模型内部评分机制下，一个 token 子集对另一个 token 子集的贡献强度。RCStat 允许对期望影响进行计算高效的边界估计，可在推理时估计，无需重新训练。我们将 RCStat 应用于两项任务。对于 $\textbf{归因}$，具有高期望 RC 的注意力头能准确识别驱动生成的提示片段，从而实现可靠的片段级解释。对于 $\textbf{键值缓存淘汰}$，基于 RC 的自适应阈值选择性地淘汰低影响的 KV 条目，在保持生成质量的同时大幅减小缓存大小。在问答、摘要和归因基准上，RCStat 取得了一致的增益，生成质量提升 15-40%，KV 淘汰的错误率最多降低 36%，归因准确率提升 2-16%。这些结果表明，显式建模上下文影响为基于注意力的启发式方法提供了一种有原则且实用的替代方案。
| 评论： | 已被 NeuirIPS 2026 接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2506.19549 [cs.CL] |
| （或使用 arXiv:2506.19549v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2506.19549 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Debabrata Mahapatra [查看邮箱]
[v1]
2025年6月24日星期二 11:55:43 UTC（6,516 KB）
[v2]
2026年10月13日星期二 13:04:47 UTC（5,105 KB）
来源：arXiv cs.AI · arxiv.org