arXiv cs.AI· Zi Wang, Xingqiao Wang, Emmanuel Addai, Devika Ambekar, Xiaowei Xu·· 10 天前AI 评分24
长期记忆智能体的检索可采纳性验证框架：RHELM 与 MemOps 基准上的 top-20 重分析
The Right Memory in the Wrong Context: Verifying Retrieval Admissibility in Long-Term Agent Memory
AI 导读
研究提出检索可采纳性验证框架，为每个记忆-查询对标注可采纳、不可采纳或未决三种状态，并在匹配必需证据召回率下比较检索路径。对 RHELM 和 MemOps 两个公开长期记忆基准的冻结排名做 top-20 重分析，覆盖 3,767 条查询，top-20 锚点召回率从 0.432 升至 0.533，80% 召回可行性从 0.237 升至 0.311，精确相似度评估减少 98.3%。
正文 · AI 翻译
摘要：长期记忆智能体可能检索到对当前请求不可采信的相关信息，因为这些信息属于其他主体、违反策略，或反映不兼容的生命周期状态。召回率和最终答案准确率无法揭示这一点：一条路由可能因遗漏所需证据而看似安全，而一个正确答案可能源于不可采信的提示暴露。我们引入一个检索可采信性验证框架，为每个记忆-查询对分配三种状态之一（可采信、不可采信或未解决），在匹配所需证据召回率下比较各路由，并为未解决情况给出边界，同时通过提示暴露追踪记忆 ID，将暴露与目标级披露关联起来。我们在独立的、非合并的群体上评估其各阶段。对来自两个公开长期记忆基准 RHELM 和 MemOps 的冻结排名进行事后 top-20 重分析，覆盖 3,767 个查询。所有已发布的锚点均位于受信任的查询命名空间内；在命名空间内分数不变的情况下，命名空间外过滤无法降低其排名。Top-20 锚点召回率从 0.432 提升至 0.533，80% 召回可行性从 0.237 提升至 0.311，精确相似度评估减少 98.3%。在一个冻结的 72 例开发诊断中，已发布元数据参考保留了所需证据，而在 1% 所需锚点误拒限制下，两种纯文本验证器均未检测到违规。在 1,523 个配对的基准原生案例中，命名空间路由与三个阅读器上 0.053-0.068 的判定准确率提升相关；召回率也发生变化，因此该比较为观察性的。在 16 个受控暴露场景中，四个阅读器特定的 95% 置信区间中只有一个排除零，对应相关但不可采信的逐字披露（+0.156，95% CI [0.031, 0.312]）。结果支持对候选支持、可采信性、提示暴露和答案披露进行分别验证。
| 评论： | 26 页。已被 NeurIPS 2026 研讨会“谁验证智能体？迈向可靠的智能体开发”接收。代码：此 https URL |
| 主题： | 人工智能（cs.AI）；信息检索（cs.IR）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.07309 [cs.AI] |
| （或 arXiv:2610.07309v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07309 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zi Wang [查看电子邮件]
[v1]
2026 年 10 月 5 日星期一 19:47:43 UTC（485 KB）
来源：arXiv cs.AI · arxiv.org