Jev 作为记忆退休门控的预注册评估：建议性变更不应触发删除

查看 PDF HTML（实验性）

摘要：助手的长期记忆需要一个门控，来决定新的表述何时使旧的存储断言失效。针对这一步的基准标签将一对标记为已改变或未改变，因此无法区分一个基于已确立变化而行动的门控和一个基于提示而行动的门控。我们编写了一份任务契约，将两者区分开来（SUPERSEDED 与 NEEDS-CONFIRMATION 与 COMPATIBLE），用三位 LLM 标注者和两位人工裁决者（一位作者和一位第二标注者；已报告来源）为基于 STALE（变化对加上同用户对照）构建的 500 个测试对打标签，并在预注册假设下评估 Jev，一个带类型的“系统一”决策模型。在 STALE 标记为已改变的 179 个测试对中，有 72 个达到契约对已确立变化的标准。Jev 在 141 个同一对话的非变化上从未使断言失效。它的失败在于过早失效：二元门控使 39.2% 的变化仅为暗示的断言失效。三路决策将其降至 15.5%，代价是 15.3 个百分点的检测损失，这未达到我们预注册的 10 个百分点预算，并且它落在二元门控自身的阈值前沿上；这些结论在三种金标签解读下均成立。在一个留出库上，依据第二标注者的标签评分，一个将不确定案例升级到推理模型且在开发数据上表现最佳的级联，与单纯提高阈值无法区分（过早失效在开发集上为 26.8% 对 6.5%）。差距的一部分来自金标签：相对于该标注者的解读，LLM 多数金标签与同族升级模型共享其大部分错误，而二元标签的一个恒等式说明了此类共享错误隐藏了多少。其余部分是在开发数据上的小样本选择。对于构建者而言，这意味着二元分数不应被接入删除操作：将暗示的变化路由到待定证据，并且不要信任在此规模开发数据上选出的级联。

评论：	11 页，3 幅图，4 张表
主题：	人工智能（cs.AI）
引用为：	arXiv:2610.15710 [cs.AI]
	（或 arXiv:2610.15710v1 [cs.AI] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.15710 arXiv 颁发的 DOI 通过 DataCite（待注册）

提交历史

来自：Chenqian Le [查看电子邮件]
[v1] 2026 年 10 月 11 日星期日 15:48:16 UTC（236 KB）