arXiv cs.CL· Yunao Zheng, Bin Wen, Xiaojie Wang, Kaiyu Jiang, Xuanyu Zheng, Changyi Liu, Hongyi Fu, Jianxiong Wang, Tianke Zhang, Haonan Fan, Yingxin Li, Jiankang Chen, Xu Wang, Tingting Gao, Han Li·· 2 天前AI 评分37
GSM：用共享全局状态实现高效语言建模
GSM: Efficient Language Modeling with Shared Global State
AI 导读
研究者提出因果编码器-解码器架构 Global State Model（GSM），将历史信息获取与深层计算分离：编码器通过多阶段稀疏检索把长程信息聚合为固定大小的共享状态，解码器层只在该状态上做连续变换，不再重复访问历史。
正文 · AI 翻译
作者：Yunao Zheng、Bin Wen、Xiaojie Wang、Kaiyu Jiang、Xuanyu Zheng、Changyi Liu、Hongyi Fu、Jianxiong Wang、Tianke Zhang、Haonan Fan、Yingxin Li、Jiankang Chen、Xu Wang、Tingting Gao、Han Li
摘要：提升语言模型效率不仅需要更廉价的运算，还需要消除冗余计算。我们认为，有效的建模需要信息可访问性和计算深度，但不需要跨层重复检索历史信息。基于这一原则，我们提出了全局状态模型（GSM），一种因果编码器-解码器架构，将历史信息获取与深度计算分离。编码器通过多阶段稀疏检索逐步将长程信息聚合为固定大小的共享状态，而解码器层则对该状态执行连续变换，无需重复访问历史信息。这一设计使解码器注意力和缓存成本与历史长度无关，同时依赖感知剪枝进一步减少了预填充计算。跨多个模型规模的实验表明，GSM 取得了与基于 DeepSeek-V4.1-Flash 的匹配基线相当的下游性能，并在某些规模上有所提升，同时保持了长上下文检索能力。GSM 还提升了训练和推理吞吐量，并降低了缓存开销。这些结果表明，消除架构冗余为高效语言建模提供了一条有效路径，且不牺牲信息可访问性或计算深度。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2609.33465 [cs.CL] |
| （或 arXiv:2609.33465v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.33465 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Yunao Zheng [查看邮箱]
[v1]
2026年9月27日 星期日 11:19:21 UTC（1,503 KB）
[v2]
2026年10月13日 星期二 03:26:20 UTC（1,538 KB）
[v3]
2026年10月15日 星期四 03:28:02 UTC（1,479 KB）
来源：arXiv cs.CL · arxiv.org