arXiv cs.CL· Zehao Zhao, Shangjian Yin, Rui Liu, Chongyang Bai, Mark Ibrahim, Kavosh Asadi, Yuchen Lu, Hang Cui, Hamed Firooz·· 13 小时前AI 评分31
Control Map：评估测试时模型更新的新框架
Beyond Update Counts: A Control Map for Evaluating Test-Time Model Updates
AI 导读
研究者提出 Control Map 评估框架，记录每次评分回答前已提交的更新，并分别评估行为变化、即时学习、后续回忆、无关行为保持和新场景表现。实验显示，760M 参数检查点上 24 种更新次数相同的调度方案准确率在 19.7%–34.2% 之间；六个 CounterFact LoRA 设置均学会新信息，ROME 在全部 13 个操作点保留编辑但每个点都未通过局部性检验。
正文 · AI 翻译
摘要：测试时更新让语言模型在训练之后、回答查询之前或期间改变持久状态——例如模型权重、适配器参数或记忆模块。现有评估通常使用更新次数或频率以及紧随其后的性能测量来比较系统。这些总结忽略了更新了什么、在哪里更新、何时更新以及以什么顺序更新。因此，相同的总数可能掩盖一个重要差异：一个系统可能在一次更新后作答，而另一个系统在两次更新后作答。我们引入了 Control Map，这是一个评估框架，它记录每个被评分答案之前已提交的更新，并分别评估行为变化、即时学习（获取）、后续回忆（保持）、无关行为的保留（局部性）以及在新设置中的性能。我们证明了仅凭计数何时决定最终状态，并在所述假设下展示了答案前历史之间的差异如何限制平均分数差异。使用 ControlMap，我们的实验揭示了三点洞见。第一，更新调度很重要：在 760M 参数检查点上，更新次数相同的 24 种调度产生 19.7%--34.2% 的准确率。第二，学会一次编辑并不保证它能持续或保持受控：所有六个选定的 CounterFact LoRA 设置都学会了新信息，而 ROME 在所有 13 个操作点都保留了编辑，但在每个点都未能满足局部性。第三，没有编辑器在模型、基准和测试中始终表现最佳。因此，评估应报告更新历史，并分别评估获取、保持和局部性。
| 评论： | 44 页，6 张图，包括附录 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.36109 [cs.LG] |
| （或 arXiv:2610.36109v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36109 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zehao Zhao [查看电子邮件]
[v1]
2026年10月26日星期一 18:21:19 UTC（2,851 KB）
来源：arXiv cs.CL · arxiv.org