arXiv cs.AI· Afshin Khadangi·· 14 小时前AI 评分38
Continuum Attention：用连续分段线性记忆轨迹替代离散注意力
Continuum Attention
AI 导读
研究者提出 Continuum Attention（CA），让相邻 key 和 value 向量构成连续的分段线性记忆轨迹，每个 query 通过对可见前缀的归一化积分检索信息，段积分以指数矩闭式求解，无需数值积分即可实现解析可微的注意力。
正文 · AI 翻译
摘要：传统的因果注意力在离散的记忆位置上聚合值。我们提出连续注意力（Continuum Attention，CA），其中相邻的键向量和值向量定义了一条连续的分段线性记忆轨迹，每个查询通过对其可见前缀进行归一化积分来检索信息。各段积分具有指数矩形式的闭式解，从而得到无需数值求积的解析可微注意力。由此得到的算子保留了因果掩码、归一化的非负有效权重以及标准 Transformer 解码器结构。受控的字节级实验表明，精确连续积分优于匹配的 softmax 注意力。我们还评估了数据效率、域外语言建模、零样本多项选择预测、鲁棒性和多语言泛化能力。在多语言评估中，CA 在所有评估语言上均持续优于所有基线，相对于最强基线，每字节比特数（BPB）平均降低 5.8%。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.20586 [cs.LG] |
| （或 arXiv:2610.20586v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20586 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Afshin Khadangi [查看电子邮件]
[v1]
2026年10月14日星期三 17:57:40 UTC（694 KB）
[v2]
2026年10月26日星期一 15:22:53 UTC（1,731 KB）
来源：arXiv cs.AI · arxiv.org