arXiv cs.CL· Hanzuo Liu, Xuan Qi, Chunyu Liu, Haotian Zhong, Yulong Wang, Key, Rayying, Alex Lamb, Mingyu Gao·· 10 天前AI 评分24
CoMem：用持久中间残差在多次查询间复用 Transformer 深度
CoMem: Reusing Transformer Depth across Queries with Persistent Intermediate Residuals
AI 导读
CoMem 将 Transformer 的分割深度 j 变为可复用的上下文轴，每个 token 写入一份深度 j 残差，选取有界 chunk 集后只续算 [j:L) 层。
正文 · AI 翻译
摘要：对共享文档的重复查询会反复执行相同的底层 transformer 层。我们提出 CoMem，它将分割深度 j 作为一个显式的可复用上下文轴：为每个 token 写入一个深度为 j 的残差，选择一个有界的块集合，并仅从层 [j:L) 恢复执行。在我们所知文档复用系统中，CoMem 首次将分割深度同时作为可调的服务轴，并通过匹配的 j=0 端点将其隔离。在 Qwen3-8B 上，j=12 将选定包的读取时间从 931.9 ms 降至 664.4 ms（1.403 倍），RULER 代价为 3.12 分（95% CI [2.36, 3.93]）；连续前缀 oracle 可恢复全部差距。由此得到的深度轴量化了质量-延迟-存储的权衡；一个独立的同适配器、包含写入的流水线快 2.74 倍。等延迟的原始重放配合 BM25 领先 11.56 分，直接度量了预付深度的适用边界，而非将其隐藏。CoMem 每 token 存储 8 KiB，而协议对齐的同 Qwen3 CacheBlend 风格诊断每 token 存储 144 KiB；两者的队列与适配预算并不匹配。上下文位置分解将缺失的底层文档上下文识别为测试中主要的多键错误，而 32 token 的重叠将 92.5 提升至 98.5，且不增加持久字节或每查询读取量。CoMem 将 transformer 深度开辟为重复查询长上下文服务中一个可度量、可调的维度。
| 评论： | 32 页，2 幅图。发表于 COLM 2026 高效推理研讨会 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2607.28263 [cs.CL] |
| （或此版本的 arXiv:2607.28263v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2607.28263 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Liu Hanzuo [查看邮箱]
[v1]
2026 年 7 月 30 日星期四 14:19:11 UTC（287 KB）
[v2]
2026 年 10 月 7 日星期三 13:49:53 UTC（268 KB）
来源：arXiv cs.CL · arxiv.org