arXiv cs.CL· Christopher Alberto Hamonangan·· 10 小时前AI 评分31
SRRM：评估小语言模型长上下文记忆的检索-重建基准
SRRM: A Retrieval-Reconstruction Benchmark for Evaluating Long-Context Memory in Small Language Models
AI 导读
研究者提出 SRRM 基准，同时评测小语言模型的定向检索与全局信息重建能力，并引入记忆保持率（MPR）指标量化两者关系。在 Qwen2.5-0.5B/1.5B/3B 上测试 10 至 100 条事实语句的上下文负载，重建性能随上下文增长远快于检索精度下滑。
正文 · AI 翻译
摘要：小型语言模型（SLM）正越来越多地部署在消费级硬件上，但其在逐渐变长的上下文中保持信息的能力仍未被充分理解。现有基准主要评估检索导向的任务，对于成功检索是否反映了全面的长上下文记忆保持，所能提供的洞察有限。为弥补这一局限，本文提出 Simple Retrieval-Reconstruction Memory（SRRM），这是一个轻量且完全可复现的基准，同时评估定向检索与全局信息重建。本研究还提出记忆保持率（Memory Preservation Ratio，MPR），这是一个基准级指标，用于量化检索性能与重建性能之间的关系。SRRM 使用合成数据集在三个 Qwen2.5 模型（0.5B、1.5B 和 3B 参数）上进行了评估，上下文负载范围从 10 到 100 条事实陈述。实验结果表明，随着上下文信息增加，重建性能的下降速度明显快于检索准确率，这表明仅靠检索不足以刻画长上下文记忆保持能力。在受评估的模型中，Qwen2.5-1.5B 取得了最高的检索准确率（86.7%）、重建性能（45.7%）和 MPR（0.53），优于更大的 Qwen2.5-3B 模型（分别为 72.2%、18.5% 和 0.26）。这些发现表明，增加参数数量并不一定能改善长上下文记忆保持。总体而言，SRRM 提供了一个可复现且可扩展的基准，用于系统评估长上下文记忆，同时揭示了在仅检索评估框架下仍然隐藏的互补记忆行为。
| 评论： | 37 页，20 张表，13 幅图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.05386 [cs.CL] |
| （或 arXiv:2611.05386v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05386 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Christopher Alberto Hamonangan [查看电子邮件]
[v1]
2026 年 8 月 4 日星期二 12:36:39 UTC（2,766 KB）
来源：arXiv cs.CL · arxiv.org