arXiv cs.CL· Youshan Zhang, Jialu Li·· 6 天前AI 评分22
基于非线性时延系统的序列建模框架，实现内容感知的时间召回
Time Delay System for Sequence Modeling
AI 导读
研究者提出一种基于非线性时延系统的序列建模框架，有效延迟根据当前与历史输入的语义相似度动态估计。该框架包含可微语义滞后估计器、对角状态空间闭式累加和求解（每步 O(1) 复杂度、无顺序循环）以及可解释的模糊语义调制机制三项创新。在文本分类与生成任务上，实验结果优于现有最先进方法。
正文 · AI 翻译
摘要：现有的序列模型都有一个关键局限：它们缺乏一种显式、可解释的、内容感知的时间召回机制。LSTM 将所有信息压缩到单个隐藏状态中，从而丢失了关于特定过去事件的信息。Transformer 以二次方代价不加区分地关注所有 token，而像 Mamba 这样的状态空间模型则将历史压缩为固定维度的状态，没有显式的内容可寻址记忆。为弥补这一空白，我们引入了一个基于非线性时滞系统的新框架，其中有效延迟根据当前输入与历史输入之间的语义相似度动态估计。我们的方法具有三项关键创新：(i) 一个可微的语义滞后估计器，在历史上计算内容感知的软注意力权重，产生加权历史上下文和相似度分数；(ii) 一个具有闭式累积和求解的对角状态空间，实现每步 O(1) 复杂度且无顺序循环；(iii) 一个可解释的模糊语义调制机制，学习上下文相关规则以平衡即时处理与历史召回，其中规则中心对应于原型语义上下文。在文本分类和生成任务上的实验结果优于最先进的方法。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.12864 [cs.CL] |
| （或 arXiv:2610.12864v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12864 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Youshan Zhang [查看电子邮件]
[v1]
2026年10月9日星期五 01:43:37 UTC（583 KB）
来源：arXiv cs.CL · arxiv.org