Kernel Ridge Attention 序列混合器论文发布
热点事件持续更新
Kernel Ridge Attention 序列混合器论文发布
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Haowei Chen、Yichen Wang、Congfu Xu 提交论文,提出 Kernel Ridge Attention(KRA)——一种循环序列混合器,用递归岭回归存储关联,并以内容相关的 Ornstein-Uhlenbeck 转移控制记忆保留与不确定性恢复。作者称,其推理状态大小与上下文长度无关,并借助关联块映射与显式伴随实现并行训练。 在受控语言建模实验中,作者报告 KRA 的预测质量优于注意力与循环基线,并在所评估的循环模型中增强了自然联想召回。上述效果均出自论文作者的实验报告。
AI 根据报道生成 · 52 分钟前更新
最新进展11月20日 13:00
Kernel Ridge Attention(KRA):带选择性遗忘的非线性记忆序列混合器报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv cs.AIKernel Ridge Attention(KRA):带选择性遗忘的非线性记忆序列混合器
Kernel Ridge Attention(KRA)是一种循环序列混合器,通过递归岭回归存储关联,并用内容相关的 Ornstein-Uhlenbeck 转移控制记忆保留与不确定性恢复。其推理状态大小与上下文长度无关,借助关联块映射与显式伴随实现并行训练。在受控语言建模实验中,KRA 的预测质量优于注意力与循环基线,并在所评估的循环模型中增强了自然联想召回。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。