arXiv cs.AI· Yingxin Jia, Xuanyi Li·· 11 小时前AI 评分31
经验记忆何时真正帮助闭环 LLM 驾驶智能体？一项受控评估
When Does Experience Memory Help Closed-Loop LLM Driving Agents? A Controlled Evaluation with Resampled Warmup Pools, Token-Matched Fillers, and Audited Baselines
AI 导读
一项在 HighwayEnv 测试床（1Hz、gpt-4o-mini）上的受控评估发现，已发表的记忆增益主要来自 warmup 池的抽样运气：报告所用池是十个池中最好的一个，检索记忆仅在十池之一胜过无记忆基线（符号检验 p=0.011）。
正文 · AI 翻译
摘要：经验记忆何时能帮助闭环 LLM 驾驶智能体？已发表的收益无法回答，因为我们发现最重要的两个因素——记忆池中包含哪些预热经验，以及任何注入的 token 对提示词的影响——在所有这些研究中都未受控制。我们通过在一个经审计的 HighwayEnv 测试平台（1Hz，决定性对比使用 gpt-4o-mini）上进行受控评估来回答。我们将预热池视为重采样的随机因素（十个不相交的池），并加入 token 匹配的无关填充对照、oracle 认证的诊断、谨慎定价指标，以及对基线移植的量化审计。探测套件涵盖纯文本检索（DiLu 移植）、单帧网格移植（受 RESPOND 启发）、我们的情景时序图记忆、无检索的整合规则手册，以及纯 K 步观测历史基线。由此得出四项发现，每项都是该测试平台的性质。(1) 头条记忆收益属于预热抽样。所报告的池对两种检索记忆而言都是十个中最好的，它们仅在十个池中的一个池中优于无记忆（符号检验 p=0.011），甚至规则手册表面上的池免疫性也在五次新抽样中崩塌。(2) 所测试的检索设计均未超过 token 匹配的填充。仅碰撞合并上限由单条 15 token 的谨慎指令达到，而为谨慎定价的指标抹去了规则手册的领先优势。(3) 表征复杂性在任何地方都没有稳健地发挥作用。(4) 基线移植质量会悄然颠倒结论。在该测试平台上，没有填充对照的单池比较会报告出这些对照所逆转的记忆收益。我们发布测试平台、经审计的移植、种子和缓存。
| 评论： | ACML 2026 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV）；机器学习（cs.LG）；机器人学（cs.RO） |
| 引用为： | arXiv:2610.27714 [cs.AI] |
| （或 arXiv:2610.27714v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.27714 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yingxin Jia [查看邮箱]
[v1]
2026年10月20日 星期二 06:31:27 UTC（189 KB）
来源：arXiv cs.AI · arxiv.org