跳到正文
arXiv·· 13 天前AI 评分35

Voltic:在循环记忆中区分波动性与随机性

Voltic: Distinguishing Volatility from Stochasticity in Recurrent Memory

AI 导读

循环序列模型需决定每个 token 对记忆的覆写强度,按贝叶斯滤波解读即 Kalman 更新的增益,由波动性与随机性两种不确定性共同决定。研究证明门控 delta-rule 记忆的更新是各向同性不确定性下该滤波器的形式,并提出 Voltic,通过保持协方差各向异性来区分二者。

来源:arXiv · arxiv.org