arXiv cs.CL· Dohoon Kim, Junho Park, Hyunwoong Bae, Seyoon Kim, Taesup Moon·· 11 小时前AI 评分34
Axis-LoRA：为个人记忆检索探测并适配嵌入模型
Axis-LoRA: Probing and Adapting Embedding Models for Personal-Memory Retrieval
AI 导读
研究者提出 Axis-LoRA，在嵌入模型内部放置四个按轴划分的 LoRA 分支，并通过逐查询门控组合，用于区分个人记忆中的时间、地点、人物和事件。在 LongMemEval、ATM-Bench 和 LoCoMo 上评测三种标准嵌入模型，4-benchmark 平均 R@10 提升 +1.28 至 +1.56 pp，且仅训练基座参数的一小部分。代码已开源。
正文 · AI 翻译
摘要：随着 LLM 越来越多地被问及用户的个人经历，检索必须按时间、地点、人物和事件来区分记忆。当前的个人记忆流水线依赖冻结的稠密嵌入模型来嵌入记忆以供检索，但我们发现这些模型并不能很好地捕捉这四个维度。替换一条记忆的日期或地点几乎不会改变其嵌入，而在冻结嵌入之上训练投影也无法恢复缺失的信号。问题出在模型内部，其中每个维度都由一种独特的注意力头模式编码。基于这些发现，我们提出了 Axis-LoRA，这是一种按维度划分的适配器，在嵌入模型内部放置四个 LoRA 分支，并通过逐查询门控将它们组合起来。在 LongMemEval、ATM-Bench 和 LoCoMo 上评估的三个标准嵌入模型中，Axis-LoRA 在仅用一小部分基础参数、在一小规模维度反事实训练集上训练的情况下，将 4 个基准的平均 R@10 提升了 $+1.28$ 至 $+1.56$~pp。代码可在 此 https URL 获取。
| 评论： | EMNLP 2026 主会 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07820 [cs.CL] |
| （或 arXiv:2611.07820v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07820 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Dohoon Kim [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 10:59:23 UTC（1,078 KB）
来源：arXiv cs.CL · arxiv.org