arXiv cs.CL· Hanzuo Liu, Chunyu Liu, Chaofan Lin, Alex Lamb, Mingyu Gao·· 10 天前AI 评分24
EncBank：在 LLM 查询间复用编码器，实现紧凑可复用记忆
Cache the Encoder Within:Compact, Reusable Memory across LLM Queries
AI 导读
EncBank 将预训练 LLM 的底层作为可复用文档编码器，紧凑存储其输出供适配后的上层读取器使用，并共享一个自蒸馏后缀适配器，无需针对量化单独重训练。在三种 Qwen 骨干、五个基准套件上，4-bit 存储的基准聚合分数与原生精度相差不超过 1 分；固定 Qwen3-8B 工作负载下仅占原生精度持久 GPU 存储的 28.1%。
正文 · AI 翻译
摘要：对共享文档的重复查询会产生冗余编码，而缓存模型状态又会带来持久化存储开销。基于 CoMem 的中间状态接口，EncBank 将预训练 LLM 的底层视为可复用的文档编码器，并紧凑地存储其输出，供适配后的上层读取器使用。一个自蒸馏后缀适配器在每个主干网络内跨存储精度共享，无需针对量化进行专门重训练。在三个 Qwen 主干网络上（涵盖不同规模以及全注意力和混合架构）的五个基准套件中，4 位存储使每个报告的基准汇总分数与原生精度 EncBank 相差不超过一分。在固定的 Qwen3-8B 工作负载中，它保留了原生精度持久化 GPU 存储的 28.1%。单独的原生精度对照相比相同证据、相同适配器的文本重放，实现了 1.40 倍选定包预填充加速，代价是 RULER 准确率下降 3.12 分。原生精度的 Qwen3.8-27B 配置还通过了 89 项 Terminal-Bench 2.1 任务中的 70 项。因此，EncBank 将可复用计算与紧凑内存相结合，而任务保真度和端到端收益仍取决于工作负载、准备成本和复用频率。
| 评论： | 17 页，3 幅图，7 张表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.10058 [cs.CL] |
| （或 arXiv:2610.10058v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10058 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Liu Hanzuo [查看电子邮件]
[v1]
2026 年 10 月 7 日星期三 13:28:25 UTC（89 KB）
来源：arXiv cs.CL · arxiv.org