arXiv cs.AI· Jundong Hu, Shekar Ramachandran·· 4 小时前AI 评分34
LLM 智能体的记忆信任鸿沟:Qwen3 各规模模型对过时证据的依赖
The Memory Trust Gap: Reliance on Stale Evidence Across Model Scales in LLM Agents
AI 导读
研究在 Qwen3 0.6/1.7/4/8B 四个检查点上发现,持久记忆智能体对过时信息的依赖率高达 0.92-1.00,即使当前已有权威证据。Safety 测试中,更大检查点能抵抗普通过时提示,但当该信息显得更新时仍会遭受显著损害,且更大模型表现出更强的新近性效应。元数据可提升全部四个检查点的准确率(4B/8B 增益更大),预解析则使四者准确率接近上限。
正文 · AI 翻译
摘要:持久记忆智能体可能无视当前权威证据而遵循过时信息。我们使用两个受控的、按动作评分的测试套件,研究 Qwen3 0.6/1.7/4/8B 各检查点对过时证据的依赖:一个需要存储信息的 Benefit 套件,以及一个以静态提示文本提供当前证据的 Safety 套件。我们区分了过时值依赖与相对于无记忆的净准确率损失。各检查点在 Benefit 套件中的依赖度为 0.92-1.00。在 Safety 套件中,较大的检查点能抵抗普通的过时提示,但当该提示显得更新时会造成显著损害。一个完整的 $2\times2\times2\times2$ 析因设计操纵了标签、新近性、来源权威性和位置。直接的跨规模对比表明,在测试的较大检查点中新近性效应更强,并且 Qwen3 内部存在位置效应符号反转。元数据提高了所有四个检查点的准确率,在 4B/8B 上提升更大;预解析在所有四个检查点上均达到接近上限的准确率。Llama-Instruct 对比为选定效应提供了跨家族证据,而 RGB 和 MisBench 则印证了过时值依赖。一项框架控制表明,该失败超出了标记为记忆的内容。这些结果刻画了所测试检查点中依赖线索的脆弱性,但未分离能力,也未评估完整的记忆生命周期。
| 评论: | 被 NeurIPS 2026 Workshop PALM: Personalized, Aligned, Long-Term Memory for AI Systems 接收。14 页,7 幅图,11 张表。v2:camera-ready 版本 |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2609.01852 [cs.AI] |
| (或 arXiv:2609.01852v2 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2609.01852 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自:Jundong Hu [查看电子邮件]
[v1]
2026 年 9 月 1 日星期二 20:35:00 UTC(114 KB)
[v2]
2026 年 11 月 16 日星期一 21:11:56 UTC(216 KB)
来源:arXiv cs.AI · arxiv.org