arXiv cs.AI· Rongtian Ye·· 3 天前AI 评分22
时点语言智能体的未来记忆使用审计:Qwen 与 DeepSeek 的对比研究
Auditing Future-Memory Use in Point-in-Time Language Agents
AI 导读
研究审计了时点(PIT)语言智能体在 48 个历史公司对比任务中是否会利用截止日期后的未来事实。Qwen 和 DeepSeek 均能回忆未来事实,但都未出现预设的偏向记忆更好公司的证据分配偏移。
正文 · AI 翻译
摘要:时点(PIT)智能体即使其外部证据遵守历史截止时间,也能回忆起截止时间之后的事实。我们考察这种访问是否能预测 48 项历史公司比较任务中的证据收集行为。独立的闭卷营收探测在回忆不均衡的任务上为每个模型识别出记忆更好的公司,从而在智能体运行前固定预测方向。随后,我们在保持外部证据符合 PIT 有效性的同时,比较使用真实或匿名公司身份的成对运行。Qwen 和 DeepSeek 都能回忆起未来事实,但两者均未支持预先指定的向记忆更好公司的偏移。Qwen 在 28 项回忆不均衡任务上的四项分配估计均为负,描述性区间跨越零。一项前瞻性 DeepSeek 复现实验在 20 项此类任务上显示,四项指标均呈现相反模式,区间低于零。在剔除每家公司、每个配对和未来事实后,这些估计仍为负,且所有四个事后 max-T 调整符号翻转 p 值均低于 .05。在一项前瞻性指定的后续实验中,明确的未来事实产生了偏离所提供事实公司的小幅估计偏移,区间跨越零,而最终选择则向该公司偏移。自然相反模式背后的机制仍未解决。这些发现支持在对外部证据进行截止时间检查的同时,分别评估记忆可及性、搜索分配和最终输出。
| 评论: | 18 页 |
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2610.18602 [cs.AI] |
| (或 arXiv:2610.18602v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.18602 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Rongtian Ye [查看电子邮件]
[v1]
2026 年 10 月 13 日星期二 15:56:58 UTC(116 KB)
来源:arXiv cs.AI · arxiv.org