arXiv cs.AI· Yuanda Xu, Zhengze Zhou, Hejian Sang, Xinchen Du, Baiyang Dai, Sen Na·· 3 天前AI 评分39
LatentPress：超越文本与视觉的上下文压缩
LatentPress: Context Compression Beyond Text and Vision
AI 导读
LatentPress 将对话历史和长文档写入连续 memory tokens，由冻结解码器通过输入嵌入接口直接读取，推理时无需重建文本。
正文 · AI 翻译
摘要：压缩上下文通常以人类可读的文本或必须解码的渲染图像形式承载，即使其消费者是语言模型也是如此。我们提出 LatentPress，它将对话历史和长文档写入第三种表示：连续记忆 token，冻结的解码器通过其输入嵌入接口直接读取，推理时无需文本重建。一个与读取器匹配的小型写入器可压缩 $4$-$16\times$，同时仅训练一个适配器（4.2M-26.2M 参数，约为解码器的 $\sim\!0.1\%$）。在 LongMemEval 上，LatentPress 在 $7.70\times$ 压缩下达到 $0.504$ 准确率，而未压缩证据为 $0.490$，优于文本摘要（0.184）和基于 OCR 的压缩（0.426 至 0.312）。在 LongBench-QA 上，域内写入器在 $4$-$8\times$ 压缩下达到或超过原始上下文阅读，而 $16\times$ 则落后于原始。写入每次对话耗时 43ms，比文本摘要或 OCR 重建快约一个数量级，读取比原始上下文或缓存 OCR 快 $5$-$9\times$。我们在两种迁移设置下验证了该接口：从 UltraChat 到 LongMemEval 记忆问答的零样本迁移，以及从 LongMemEval 衍生的问答到未见过的 LongBench 文档领域的迁移，确立了直接软 token 作为超越文本和视觉的实用机器面向上下文接口。实验实现见：此 https URL。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.01507 [cs.LG] |
| （或 arXiv:2609.01507v3 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2609.01507 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Hejian Sang [查看电子邮件]
[v1]
2026年9月1日星期二 16:38:15 UTC（222 KB）
[v2]
2026年9月3日星期四 03:34:01 UTC（222 KB）
[v3]
2026年10月10日星期六 04:40:23 UTC（221 KB）
来源：arXiv cs.AI · arxiv.org