跳到正文
arXiv cs.AI· Haowei Chen, Yichen Wang, Congfu Xu·· 10 小时前AI 评分27

Kernel Ridge Attention(KRA):带选择性遗忘的非线性记忆序列混合器

Kernel Ridge Attention: Nonlinear Memory with Selective Forgetting

AI 导读

Kernel Ridge Attention(KRA)是一种循环序列混合器,通过递归岭回归存储关联,并用内容相关的 Ornstein-Uhlenbeck 转移控制记忆保留与不确定性恢复。其推理状态大小与上下文长度无关,借助关联块映射与显式伴随实现并行训练。在受控语言建模实验中,KRA 的预测质量优于注意力与循环基线,并在所评估的循环模型中增强了自然联想召回。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:Kernel Ridge Attention(KRA)是一种循环序列混合器,它将学习到的非线性特征与协方差引导的记忆更新相结合。它通过递归岭回归存储关联,利用过去键之间的相关性来决定新观测如何修改记忆。一个依赖内容的 Ornstein--Uhlenbeck 转移控制保留程度,并为未来的写入恢复不确定性。这种构造允许精确的时间核解释,并维护一个大小与上下文长度无关的推理状态。关联块映射和显式伴随支持并行训练,同时保留递归更新。在受控的语言建模实验中,KRA 相比注意力与循环基线提升了预测质量,在所评估的循环模型中增强了自然联想回忆,并实现了实用的分布式训练吞吐量。这些特性为非线性、自适应序列记忆提供了有原则的基础。
评论: 15 页
主题: 机器学习(cs.LG);人工智能(cs.AI)
引用为: arXiv:2611.23896 [cs.LG]
  (或 arXiv:2611.23896v1 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23896

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Yichen Wang [查看电子邮件]
[v1] 2026 年 11 月 18 日星期三 05:49:34 UTC(99 KB)

来源:arXiv cs.AI · arxiv.org