arXiv cs.CL· Zichuan Xu, Haochen Zhang, Yuyang Dong, Makoto Onizuka, Chuan Xiao·· 10 小时前AI 评分31
MemShift：将 LLM 派生个人记忆的检测与修复分开评测
MemShift: Separating Detection from Repair in LLM-Derived Personal Memory
AI 导读
MemShift 是一个包含五类变化的基准，用于区分 LLM 派生个人记忆中的检测与修复两个步骤：来源修订、删除、重新定义、写作者切换和导出。该基准在前三类变化中把合成世界分叉为仅变化点不同的分支，金标准值与依赖关系在生成任何文本前固定，并用确定性评分器替代 LLM 评委。
正文 · AI 翻译
摘要：AI 助手会存储语言模型根据个人记录、按照该人自己的定义（例如其重要联系人）推导出的值。保持此类值正确需要两步：检测，即注意到输入发生了变化；修复，即生成正确的新值。仅对最终答案评分的基准无法判断是哪一步失败，而且它们把每一处变化都表述为新文本。鉴于这一局限，我们提出了 MemShift，一个包含五种变化的基准：来源修订、删除、重新定义、写入者切换和导出。前三种变化将一个合成世界分叉为仅在变化上有所不同的分支。金标准值和依赖关系在任何文本之前就已固定，并且用确定性评分器取代 LLM 评判。对于会报告其失效情况的记忆，MemShift 会针对每个发生变化的条目显示该记忆是否注意到了变化，以及其修复是否正确。此外，我们构建了一个具有已知检测和修复结果的参考记忆，以验证该度量。通过评估四个开放权重 LLM，我们发现检测的帮助仅限于修复所能允许的程度：这些 LLM 很少能正确重新推导出由该人的定义计算出的值，而 LLM 在类型化记录上编写的程序则弥合了与精确重算之间的大部分差距。代码和数据可在 此 https URL 获取。
| 评论： | 54 页，9 幅图，32 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.02338 [cs.CL] |
| （或 arXiv:2611.02338v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02338 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zichuan Xu [查看电子邮件]
[v1]
2026 年 11 月 2 日星期一 00:35:19 UTC（888 KB）
来源：arXiv cs.CL · arxiv.org