arXiv cs.CL· Namgyu Ho, Huzama Ahmad, Woosung Koh, Se-Young Yun, Tal Schuster, Cicero Nogueira dos Santos·· 2 天前AI 评分42
语言模型能控制自己的注意力：Declarative Attention 让模型在思维链中声明关注范围
Language Models Can Control Their Own Attention
AI 导读
研究者提出 Declarative Attention（DA），让模型在思维链中主动声明需要关注的上下文区域，推理引擎像解析工具调用一样跳过大部分 KV cache 读取。
正文 · AI 翻译
摘要：语言模型将大部分注意力集中在上下文的一小部分上，却要读取整个 KV 缓存来找出少数关键 token。如果用户询问 100 万 token 对话中先前的一个细节，全局注意力层必须扫描完整上下文才能生成回复的每个 token。一种主流方法通过轻量级代理分数预先选择相关 token，但这种外部评分每步仍产生 O(N) 开销。我们采用一种内在方法，其动机源于一个简单的问题：模型难道不是已经知道上下文的哪些部分相关吗？我们提出声明式注意力（Declarative Attention，DA），一种协议，引导模型在其思维链中声明需要关注的位置，将生成划分为三种模式：<global>（完整上下文）、<focus>（特定区域）和 <local>（仅近期输出）。推理引擎像解析工具调用一样解析这些声明，并跳过大部分 KV 缓存读取。在 15 个长上下文任务的零样本评估中，DA 在现成模型（Gemma-4-31B、Qwen-3.6-27B）上将每次响应的总关注 token 数减少（45.8%、19.6%），尽管增加了额外解码步骤，准确率仅有小幅下降（1.40pp、2.10pp），且随模型规模增大而缩小。DA 开辟了稀疏注意力的新维度，在基于训练的方法下还有进一步潜力。代码见 此 https URL。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2609.02737 [cs.CL] |
| （或本版本使用 arXiv:2609.02737v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2609.02737 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Namgyu Ho [查看邮箱]
[v1]
2026 年 9 月 2 日星期三 15:43:38 UTC（314 KB）
[v2]
2026 年 10 月 14 日星期三 23:22:42 UTC（359 KB）
来源：arXiv cs.CL · arxiv.org