arXiv cs.AI· Ruike Cao, Fanyu Zhao, Fugen Yao, Liang Dong, Jian Xu, Yifei Zhao, Han Zhang, Li Xiao·· 9 天前AI 评分24
MemCalib：LLM 智能体记忆使用的基准测试与优化
MemCalib: Benchmarking and Optimizing Memory Use in LLM Agents
AI 导读
研究者提出 MemCalib 基准，用于评估 LLM 智能体是否给上下文中的每条记忆分配恰当的影响力，结果显示前沿开源与闭源模型普遍过度使用或使用不足记忆，导致回答有偏、质量偏低。
正文 · AI 翻译
摘要：智能体记忆的有效性最终取决于底层 LLM 是否对上下文中的每条记忆赋予其对响应的适当影响程度。然而这一能力在很大程度上一直被忽视。为了评估这一能力，我们提出了 MemCalib，一个基于真实记忆系统场景的基准，用于评估记忆使用并推进优化算法。在 MemCalib 测试集上的结果表明，前沿的开源和闭源模型都难以恰当地使用记忆。它们经常过度使用或使用不足记忆，而不是将每个命题的实际使用与其目标水平相匹配，从而导致有偏、低质量的响应。使用常见后训练算法（包括组相对策略优化和同策略自蒸馏）进行的实验进一步揭示出明显的方向性偏差：训练后的模型在一个方向上有所改善，而在另一个方向上则出现退化。因此，我们提出了 MemCalib-RL，一种有序双向反事实信用分配算法，它分离过度使用和使用不足的信号，并通过精确原子消融将其信用定位到响应 token 上。跨模型家族和规模（Qwen3-8B、Ministral-3-8B-Instruct 和 Qwen3.5-35B-A3B）的结果表明，MemCalib-RL 在整体性能上达到最佳，同时更好地平衡过度使用和使用不足，且其增益在外部基准评估中可泛化到 MemCalib 之外。进一步的实验支持了其设计选择和鲁棒性，并为其训练动态提供了洞见。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.24259 [cs.LG] |
| （或使用 arXiv:2609.24259v3 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2609.24259 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ruike Cao [查看电子邮件]
[v1]
2026年9月21日星期一 08:22:21 UTC（1,239 KB）
[v2]
2026年9月22日星期二 10:14:24 UTC（1,188 KB）
[v3]
2026年10月8日星期四 09:09:43 UTC（1,188 KB）
来源：arXiv cs.AI · arxiv.org