arXiv cs.CL· Minsu Oh, Seunghui Jwa, Chanjun Park, Yeo-Chan Yoon·· 3 天前AI 评分24
压缩记忆评估：依赖性、效用与内容增益
Evaluating Compressed Memory: Dependence, Utility, and Content Benefit
AI 导读
研究指出，仅靠将记忆向量置零后模型得分下降，并不能证明压缩记忆优于无记忆模型。在九个系统中，部分模型依赖记忆却表现不如无记忆训练的替代模型；TriviaQA 上给 xRAG 换用其他问题的段落，F1 从无文档的 19.38 升至 24.78，但该问题自身检索段落得分更高，达 29.88。评估需明确对比模型、绝对性能及生成与评分条件。
正文 · AI 翻译
摘要：语言模型回答得更好，是因为其压缩记忆中包含了有用的文档信息吗？将记忆向量置零可能会降低已训练模型的得分，但这并不能表明它优于未使用记忆训练的模型。我们将置零与单独训练的模型相结合，这些模型无法访问存储的文本，或对每个文档接收相同的恒定输入。在九个系统中，一些模型依赖记忆，但表现却比训练出的替代模型更差。例如，在预测生成故事中状态的实验中，将记忆置零会加剧模型的预测损失，但一个未使用记忆训练的模型却比记忆完好的原始模型取得了更低的损失。在 TriviaQA 上，将另一个问题段落的记忆提供给 xRAG，会使 F1（衡量与可接受答案的词重叠度）从无文档时的 19.38 提升到 24.78。它对输出包含可接受答案频率的影响在统计上不确定。该问题检索到的段落得分更高（29.88 F1）。因此，仅凭相对于无文档的增益，并不能证明该增益需要该问题的段落。因此，评估必须明确说明比较模型、绝对性能以及生成和评分条件。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.19373 [cs.CL] |
| （或 arXiv:2610.19373v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19373 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yeochan Yoon [查看电子邮件]
[v1]
2026年10月14日星期三 01:17:03 UTC（151 KB）
来源：arXiv cs.CL · arxiv.org