arXiv cs.CL· Han Luo, Zhan Zhuang, Xu He, Jujia Zhao, Yu Li, Suqin Yuan, Dong Li, Lei Feng·· 6 天前AI 评分27
超越最终嵌入向量：从 token 级证据中检索记忆
Beyond the Final Embedding: Retrieving Memories from Token-Level Evidence
AI 导读
一种无需额外训练的稀疏 token 匹配方法，利用嵌入模型已计算的上下文 token 表示，让每个查询 token 在候选记忆中检索少量匹配 token，聚合得分后与整体记忆相似度结合排序。
正文 · AI 翻译
摘要：记忆增强型助手从存储的对话和文档中检索证据以回答查询。大多数基于嵌入的检索器会比较查询和记忆的单向量表示，即使相关性仅取决于内容的一小部分。这种局部证据可以使用同一嵌入模型已计算出的上下文词元表示来与查询匹配。我们的方法使用稀疏词元匹配来改进检索，而无需额外训练。每个查询词元会在候选记忆中检索一小组匹配词元。匹配分数按每个记忆进行聚合，并与整体记忆相似度结合以对记忆进行排序。可选的低秩查询适配器可以在保持编码器和存储的记忆表示固定的情况下，通过监督进行训练。我们的方法在无需额外训练的情况下，在八个基准和多个模型系列上改进了检索。查询适配进一步将 Qwen3-Embedding-4B 上的平均 Recall@10 和 NDCG@10 增益分别提高到 13.3 和 14.3 个百分点。这些检索增益转化为长期记忆基准上更高的问答准确率。
| 学科： | 信息检索（cs.IR）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.13277 [cs.IR] |
| （或 arXiv:2610.13277v1 [cs.IR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13277 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Han Luo [查看邮箱]
[v1]
2026年10月9日星期五 09:27:55 UTC（777 KB）
来源：arXiv cs.CL · arxiv.org