arXiv cs.AI· Syed Ibrahim Omer, Ginny Y. Wong, Xiangyu Zhao·· 9 天前AI 评分23
MaRK：面向状态空间模型动态算子条件化的马尔可夫自适应循环核
MaRK: Markov-adapted Recurrent Kernels for Dynamic Operator Conditioning in State Space Models
AI 导读
MaRK 是一种动态算子条件化框架，可将上下文向量直接映射为冻结 SSM 循环参数 A、B、C、D、Δ 的有界调制，从而让每个扩散时间步重塑模型的输入输出记忆核。
正文 · AI 翻译
摘要：状态空间模型（SSMs）为序列建模提供了一种比 Transformer 更高效的替代方案，然而将预训练 SSM 条件化以进行迭代生成通常是在循环算子之外，通过输入注入或激活调制来实现的。虽然此类机制使模型能够接触到条件信息，但它们让底层的时间动态保持不变。我们提出 MaRK（Markov-adapted Recurrent Kernels），一种动态算子条件化框架，它将上下文向量直接映射为对冻结 SSM 的循环（$A$）、读入（$B$）、读出（$C$）、跳跃（$D$）和离散化（$\Delta$）参数的有界调制。从 LPV-SSM 系统的视角来看，MaRK 诱导出一个由上下文索引的马尔可夫参数序列族，使每个扩散时间步都能重塑模型的输入-输出记忆核。我们在一个冻结的 111M 参数 Hydra SSM 主干上实例化 MaRK，并研究三种适配器几何结构：Hypernet、Chebyshev 多项式和离散余弦变换核。由于这些适配器通过冻结主干上的低秩辅助映射来修改马尔可夫参数序列，参数高效微调作为适配机制本身的结构性结果而出现，仅需 6.3--11M 可训练辅助参数即可从双向目标过渡到迭代扩散机制。有界循环参数化进一步为调制后的循环给出了解析的仿射二次稳定性证书。通过合成 LPV 恢复实验和马尔可夫算子诊断，我们表明 MaRK 在匹配假设下恢复了坐标不变的时间算子，并产生独特、稳定的时间步条件化记忆轮廓。在实证上，Chebyshev 变体取得了最强的性能，平均验证损失为 2.55，其次是 DCT（2.59）和 Hypernet（3.77）几何结构。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.09092 [cs.LG] |
| （或 arXiv:2610.09092v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09092 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | NeurIPS 2026 |
提交历史
来自：Syed Ibrahim Omer [查看电子邮件]
[v1]
2026年10月6日星期二 20:46:26 UTC（1,708 KB）
[v2]
2026年10月8日星期四 08:16:24 UTC（1,708 KB）
来源：arXiv cs.AI · arxiv.org