arXiv cs.CL· Zhe Zhou·· 11 小时前AI 评分29
特定绑定重学节省：面向测试时持续学习的评估
Binding-Specific Relearning Savings for Test-Time Continual Learning
AI 导读
研究在 Qwen2.5-1.5B 上发现，学过特定事实绑定的模型在部分遗忘后重学该绑定比仅接触过该实体的对照组更快，说明当前输出准确率会低估既往经验的持久影响。在未配对的全新样本池上，先前学习使恢复所需优化器更新减少约 18%。该工作已被 NeurIPS 2026 TTCL Workshop 接收，代码已公开。
正文 · AI 翻译
摘要：当一个事实越来越难以从语言模型中引出时，是模型已经丢失了它，还是它只是变得不那么容易获取？参数更新的测试时持续学习智能体通常以当前输出准确率来评估；我们追问这种测量是否捕捉到了先前经验如何塑造后续更新。我们检验学习某个特定事实绑定是否会产生后续的再学习优势，且这种优势超出对其实体、答案词汇、格式或查询槽位的熟悉度。在 Qwen2.5-1.5B 中，我们比较了三种匹配且平衡的历史：LEARNED 接收正确的绑定，CONTROL 接收匹配的暴露但不含该绑定，WRONG 在同一槽位接收一个竞争性的关系有效答案。在相同的无复习持续微调流之后，LEARNED 在预先指定的部分遗忘检查点上比 CONTROL 更快地重新习得目标。WRONG 相对于 CONTROL 没有表现出正向优势，而其与 LEARNED 的比较提供了槽位匹配的佐证，但可能受到竞争者干扰的影响。在根据测得的再学习前行为进行调整后，该优势仍为正。在使用未配对的从未见过池进行的次要描述性转换中，先前的学习将恢复所需的优化器更新减少了约 18%。因此，当前的行为准确率可能低估了先前获得经验的持久影响。代码可在 此 https URL 获取
| 评论： | 已被 NeurIPS 2026 迈向测试时持续学习智能体研讨会（TTCL）接收。15 页，2 幅图。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22381 [cs.LG] |
| （或 arXiv:2610.22381v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22381 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhe Zhou [查看电子邮件]
[v1]
2026 年 10 月 2 日星期五 15:47:00 UTC（294 KB）
来源：arXiv cs.CL · arxiv.org