arXiv cs.CL· Shivesh Rane·· 6 天前AI 评分20
Resonant Sequence Models 的输入依赖读出相位
An Input-Dependent Readout Phase for Resonant Sequence Models
AI 导读
研究者为 Resonant Sequence Models 的谐振器读出相位引入输入依赖，仅增加 0.2% 参数，保持卷积精确性。在 WikiText-2 的 6M 参数字符级模型上，训练长度 256、测试长度 1024 时困惑度从 12.81 降至 3.76。分析显示相位编码的是当前字符而非距离，未提升检索能力。
正文 · AI 翻译
摘要：具有固定大小状态的序列模型避免了注意力的二次成本，但面临一个设计选择。输入依赖的状态转移以基于 FFT 的训练为代价提供了内容依赖的记忆，而固定转移保留了 O(T log T) 的卷积路径，但对每个输入都以相同方式读取记忆。ResonatorLM 是第二类模型的一个近期模型，它通过每个头固定的学习相位读取一组阻尼复振荡器。我们将该读出相位设为当前 token 的函数，这仅向读取添加了输入依赖性，保持了卷积的精确性，且仅增加 0.2% 的参数。对未训练振荡器组的分析表明，相位确实编码了经过的时间，但普通 token 在 2-8 步内就降到背景以下，且无论选择何种阻尼，线性重建都无法超过约 16 个 token。在 WikiText-2 上的 6M 参数字符级模型中，输入依赖相位在训练长度上与原始模型相当，并消除了其在超出训练长度时的失败：在 256 个 token 上训练并在 1024 个 token 上测试时，困惑度从 12.81 降至 3.76。我们将该失败追溯到长记忆头，它们积累的历史超过了训练所暴露的范围。学习到的相位跟踪的是当前字符而非距离，并且没有改善检索。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.12496 [cs.LG] |
| （或使用 arXiv:2610.12496v1 [cs.LG] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2610.12496 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shivesh Rane [查看电子邮件]
[v1]
2026年9月26日星期六 15:11:18 UTC（969 KB）
来源：arXiv cs.CL · arxiv.org