arXiv cs.CL· Zhangchi Feng, Harry Jiang, Yangyifei Luo, Ray Zhang, Richong Zhang·· 10 小时前AI 评分31
DAMI：面向门控线性注意力长上下文检索的双轴记忆初始化方法
DAMI: Dual-Axis Memory Initialization for Enhanced Long-Context Retrieval in Gated Linear Attention
AI 导读
研究者提出双轴记忆初始化方法 DAMI，在训练前联合配置门控线性注意力中的 A_log 与 dt_bias 参数，按头分配几何时间尺度、按层设置低-高-低输入敏感度，并用少量激活样本校准实现，不增加可训练参数。
正文 · AI 翻译
摘要：线性注意力的计算量随序列长度线性增长，但其有限状态记忆会限制长上下文检索能力。在门控线性递归中，记忆保留取决于状态衰减，而状态衰减由门控参数 A_log 和 dt_bias 以及输入激活共同决定。在受控的 Gated DeltaNet（GDN）实验中，这两个参数在训练后仍与各自的初始值高度相关，凸显了初始化的重要性。因此，我们提出双轴记忆初始化（Dual-Axis Memory Initialization，DAMI），在训练前联合配置这两个参数。DAMI 为不同头分配几何级数的时间尺度，以覆盖不同的检索距离，并在各层之间采用低-高-低的输入敏感度分布。通过少量激活样本对 GDN 系列实现进行校准，使其同时匹配这两个行为目标，且不增加可训练参数。在 GDN、KDA、GDN2、Mamba-2 和 RWKV-7 上，DAMI 相比对应的随机初始化基线，将 RULER 风格检索的平均准确率提升了 5.29 至 16.71 个百分点。在语言建模、常识推理和 2K 真实场景检索上的表现与这些基线大体相当。我们的代码可在 此 https URL 获取。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.41994 [cs.AI] |
| （或 arXiv:2610.41994v1 [cs.AI] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.41994 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhangchi Feng [查看邮箱]
[v1]
2026年10月30日星期五 16:39:37 UTC（576 KB）
来源：arXiv cs.CL · arxiv.org