arXiv cs.CL· Shang Tingyu, Cao Wenfei·· 13 小时前AI 评分26
面向 Mamba-2 状态压缩的平衡状态子空间方法
Balanced State Subspaces for Mamba-2 State Compression
AI 导读
研究者提出一种面向 Mamba-2 的状态压缩方法，通过平衡截断构造写—读子空间，并配合 HARP 按层分配秩。在 130M–2.7B 模型上，该方法将状态维度减半，WikiText-2 困惑度平均仅上升 0.3 点（1.8%），而 GHOST 上升 1.6 点（9.3%）。校准只需一次前向传播，速度比 GHOST 公开协议快一个数量级，峰值内存更低。
正文 · AI 翻译
摘要：Mamba-2 将所有上下文压缩到一个固定大小的循环状态中，该状态主导了解码时的内存和带宽。现有的压缩器对状态值进行量化或对状态坐标进行剪枝，在原生基下独立地对每个通道打分。我们考察了训练后的 Mamba-2 状态，发现能量几乎是秩一的，但输出并不读取高能量方向：能量集中在由循环累积而成的类偏置方向上，而输出所读取的内容则位于一个与状态坐标不对齐的低维子空间中。即使是输出感知的分数也是逐坐标计算的，因此它们会错过决定输入—输出映射的方向。因此，压缩应针对写入—读取子空间，而不是单个坐标。我们提出 \method{}，这是一种训练后变换，它以完整的可控性和可观测性 Gramian 实例化平衡截断，并通过 Mamba-2 的标量恒等转移精确地施加旋转。由于有用秩在各层之间差异很大，我们进一步引入 HARP，它根据 Hankel 谱为每层分配秩，并保护对检索敏感的层，在均匀预算下同时改善困惑度和检索性能。校准只需一次前向传播，比 GHOST 公布的协议快一个数量级，且峰值内存更低。借助 HARP，\method{} 将状态维度减半，在 130M--2.7B 范围内，WikiText-2 困惑度平均增加 $0.3$ 点（$1.8\%$），而 GHOST 为 $1.6$（$9.3\%$），且在 25\% 保留率下差距进一步扩大。
| 评论： | 15 页，4 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；应用（stat.AP）；方法论（stat.ME） |
| 引用为： | arXiv:2610.36617 [cs.LG] |
| （或 arXiv:2610.36617v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36617 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wenfei Cao [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 04:21:27 UTC（163 KB）
来源：arXiv cs.CL · arxiv.org