跳到正文
热点事件持续更新

Toaster:级联线性记忆构建非线性记忆

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Zeman Li 等作者提交论文提出 Toaster 架构,通过将两个线性记忆级联、在中间加入激活函数,构建出两层非线性记忆。 该架构利用目标传播把输出误差投影回第二层记忆来为隐藏层赋值,使每层都能运行未修改的 delta-rule 内核。作者称,这一设计基于“线性层上的梯度步即一次 delta-rule 写入”的已知事实,将线性记忆与非线性记忆连接起来。

AI 根据报道生成 · 57 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. arXiv cs.AI
    Toaster:用级联线性记忆与目标传播构建非线性记忆

    Toaster 通过将两个线性记忆级联并在中间加入激活函数,构建出两层非线性记忆,利用目标传播把输出误差投影回第二层记忆来为隐藏层赋值,使每层都能运行未修改的 delta-rule 内核。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。