arXiv·· 13 天前AI 评分35
Voltic:在循环记忆中区分波动性与随机性
Voltic: Distinguishing Volatility from Stochasticity in Recurrent Memory
AI 导读
循环序列模型需决定每个 token 对记忆的覆写强度,按贝叶斯滤波解读即 Kalman 更新的增益,由波动性与随机性两种不确定性共同决定。研究证明门控 delta-rule 记忆的更新是各向同性不确定性下该滤波器的形式,并提出 Voltic,通过保持协方差各向异性来区分二者。
来源:arXiv · arxiv.org