跳到正文
arXiv cs.CL· Pengfeng Song, Yunkai Zhuang, Liye Shi·· 9 小时前AI 评分31

LMMR:面向小语言模型智能体的学习式多粒度记忆检索

LMMR: Learned Multigranular Memory Retrieval for Small Language Model Agents

AI 导读

LMMR 是一种学习式多粒度记忆检索方法,可同时选择下一个信息来源及读取长度,让冻结的 2B 答案模型在 400-token 预算下于 HotpotQA、2WikiMultihopQA 和 MuSiQue 分别达到 61.47、43.26、30.58 F1。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:小型语言模型智能体用于读取多跳问题所需记忆的空间有限。相关事实往往分散在记录中,而这些记录周围的文本占用了大部分空间。我们提出 LMMR,一种学习式多粒度记忆检索方法,它同时选择下一个来源以及读取该来源的多少内容。LMMR 将段落和句子片段链接到其原始来源,并在训练中将提供相同缺失支撑的视图配对。相关的干扰项和重复信息提供了对比示例。在推理时,重排序器对每个候选为锚点段落增加的内容进行评分,选择器则在 token 预算内选择证据。在来自 HotpotQA、2WikiMultihopQA 和 MuSiQue 的 22,398 个官方验证问题上,一个冻结的 2B 答案模型在 400 token 预算下分别达到 61.47、43.26 和 30.58 F1。相比查询扩展,提升分别为 3.06、2.14 和 4.55 个百分点,同时记忆输入减少 23.1-26.9%。LMMR 使用的输入 token 也比在同一批问题上训练的粗粒度检索器少 23.5-27.7%。与在该检索器后接 LLMLingua-2 且输入长度相当的情况相比,F1 提升达到 3.99 个百分点,并且在 Holm 校正后在 HotpotQA 和 2WikiMultihopQA 上显著。在 HotpotQA 上评估的全部八个小型答案模型在 F1 和精确匹配上均优于查询扩展和 MMR。
评论: 18 页,11 张图。代码和实验结果:此 https URL
主题: 计算与语言(cs.CL)
引用为: arXiv:2611.22425 [cs.CL]
  (或 arXiv:2611.22425v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22425

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Pengfeng Song [查看邮箱]
[v1] 2026 年 11 月 17 日星期二 09:00:31 UTC(579 KB)

来源:arXiv cs.CL · arxiv.org