跳到正文
热点事件持续更新

Kernel Ridge Attention 序列混合器论文发布

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Haowei Chen、Yichen Wang、Congfu Xu 提交论文,提出 Kernel Ridge Attention(KRA)——一种循环序列混合器,用递归岭回归存储关联,并以内容相关的 Ornstein-Uhlenbeck 转移控制记忆保留与不确定性恢复。作者称,其推理状态大小与上下文长度无关,并借助关联块映射与显式伴随实现并行训练。 在受控语言建模实验中,作者报告 KRA 的预测质量优于注意力与循环基线,并在所评估的循环模型中增强了自然联想召回。上述效果均出自论文作者的实验报告。

AI 根据报道生成 · 52 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    Kernel Ridge Attention(KRA):带选择性遗忘的非线性记忆序列混合器

    Kernel Ridge Attention(KRA)是一种循环序列混合器,通过递归岭回归存储关联,并用内容相关的 Ornstein-Uhlenbeck 转移控制记忆保留与不确定性恢复。其推理状态大小与上下文长度无关,借助关联块映射与显式伴随实现并行训练。在受控语言建模实验中,KRA 的预测质量优于注意力与循环基线,并在所评估的循环模型中增强了自然联想召回。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。