arXiv cs.CL· Osamudiamen Edogun, Joshua Obigwe, Irfan Mehmood·· 10 小时前AI 评分38
对话记忆压缩与 RAG 在 LoCoMo 上的配对评测：压缩法领先 6.8 分但依赖答案类型
Compaction, decay and reinforcement in a two-tier conversational memory: a paired evaluation against retrieval-augmented generation
AI 导读
一项配对评测在 LoCoMo 的 1,985 道题上对比"逐轮压缩为原子事实"与检索增强生成（RAG）两种对话记忆方案，压缩法在四个可比类别上得分 71.4% 对 64.6%，领先 6.8 分（p = 5.5e-08），提示词 token 少 34%。
正文 · AI 翻译
摘要：一个具备记忆能力的对话智能体必须决定保留什么。检索增强生成会保留对话记录并对其进行检索；另一种替代方案是将每一轮对话压缩为原子事实，再对这些事实进行检索。我们在 LoCoMo 上对两者进行比较，两个分支都在同一窗口内回答全部 1,985 个问题，使用相同的存储、相同的生成器和评判器，并且两个预测结果放在同一行，这使得可以对两者存在分歧的 512 个问题执行 McNemar 精确检验。
在可比工作报告的四个类别上，压缩得分为 71.4%，而对照为 64.6%，领先 6.8 个百分点（p = 5.5e-08），同时提示词 token 数减少 34%。在全部五个类别上（包括可比工作所舍弃的对抗集），领先优势降至 2.0 且不再显著，因为基线在对抗集上领先 14.6。
这一损失有其结构。随着参考答案要求更多源文本措辞，我们的领先优势随之下降：当参考答案仅含一两个词时领先 9.6 个百分点，而超过八个词时则落后 3.1 个百分点，token 重叠度也呈现相同趋势，因此评判器并非原因。压缩保留事实所断言的内容，而舍弃其表述方式，因此当答案是某个值时它胜出，当答案是某种措辞时它落败。我们还报告了四项阴性结果及其功效计算。
| 评论： | 7 幅图。数据与代码：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.09807 [cs.CL] |
| （或 arXiv:2611.09807v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.09807 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Osamudiamen Edogun [查看电子邮件]
[v1]
2026 年 11 月 6 日星期五 17:56:37 UTC（79 KB）
来源：arXiv cs.CL · arxiv.org