DAMI：门控线性注意力双轴记忆初始化

研究者 Zhangchi Feng 等人提出双轴记忆初始化方法 DAMI，在训练前联合配置门控线性注意力中的 A_log 与 dt_bias 参数，不增加可训练参数。该方法按头分配几何时间尺度、按层设置低-高-低输入敏感度，并用少量激活样本校准实现，目标是改善长上下文检索。 报道未给出实验对比结果，因此 DAMI 对长上下文检索的实际效果尚待验证。

AI 根据报道生成 · 54 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。