arXiv cs.CL· Egor Pakhomov, Erik Nijkamp·· 10 天前AI 评分27
MemoryAgentBench 冲突消解分数被误读？用冻结的最后写入解析器重新审视
Bookkeeping, Composition, or Unreachable Gold? Reading MemoryAgentBench's Conflict-Resolution Scores Against a Frozen Last-Write Resolver
AI 导读
研究将 MemoryAgentBench 冲突消解分项按"选择性遗忘"解读，用"最新陈述获胜"规则作为零学习解析器冻结在四份事实列表之一上，官方指标下答对 80.25%（三份留出列表为 74.5%）。
正文 · AI 翻译
摘要：MemoryAgentBench 的冲突解决（Conflict Resolution）子集被解读为衡量“选择性遗忘”。我们执行该基准自身的规则——关于某一事实的最新陈述胜出——作为一个零学习解析器，冻结在四个事实列表之一上。在官方指标下，该规则能回答 80.25% 的问题（在三个留出列表上为 74.5%）。在其余问题中，有 67 个条目的已发布金标准是最后写入图无法到达、但被覆盖的陈述可以到达的（“印度的首都是新德里。”被“印度的首都是格罗塞托。”覆盖；金标准为新德里）；此类条目占 262K 下多跳问题的三分之一。两个长上下文模型以及我们预先注册的、对基准 BM25 智能体的近似重新实现（每个条目保留一次运行，仅记录结果），在规则能解决的条目上得分分别为 84.7%、82.6% 和 41.6%，而在那 67 个条目上分别为 10.4%、11.9% 和 6.0%。这些失败是可达性划分加上少量解析器范围残差；这里得分的可解读单位是逐条目划分，而非总体聚合。
| 评论： | 被 NeurIPS 2026 的 IAB 研讨会（解读智能体行为）接收（非存档）。19 页 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.09193 [cs.AI] |
| （或 arXiv:2610.09193v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09193 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Egor Pakhomov [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 22:44:32 UTC（53 KB）
来源：arXiv cs.CL · arxiv.org