arXiv cs.AI· Daniel Lenton, Yusha Arif, Haris Mahmood·· 4 小时前AI 评分55
Continual-ARC:衡量工作生命周期内的技能获取
Continual-ARC: Measuring Skill Acquisition over a Working Lifetime
AI 导读
研究者提出 Continual-ARC,用三版 ARC-AGI 构建终身任务流,任务在休眠间隔后以新实例重现,并按反馈预算消耗比例评分,使记忆型与权重型系统在同一尺度上比较。
正文 · AI 翻译
摘要:Agent harnesses 已成为持续学习的一种有前景的机制,与测试时参数学习并列。然而,当前的基准测试存在若干局限:它们通常只关注单一应用领域,每个实例只使用一次,并且假设只有单一类型的学习器,因此基于记忆和基于权重的系统很少能在同一尺度上进行比较。我们提出 Continual-ARC,这是一个由三个 ARC-AGI 版本构建的终身数据流,其任务无需领域知识。相同的任务在休眠间隔后以新的实例再次出现,同时新任务不断到来。对于每个实例,学习器可以付费获取演示、提交答案,或在 harness 内采取行动;错误提交允许重试,但需付费。每个实例的得分基于所消耗的反馈预算比例。由于学习器可以在实例之间保留任何内容,基于记忆和基于权重的系统在同一尺度上评分。在数据流结束后,学习器被冻结,并在其遇到过的任务的新实例上测试(衡量记忆),以及在未见过的任务上测试(衡量泛化)。我们在 Qwen3.5-9B 和 GLM-5.3 Flash 上运行了权重冻结的 agent harness,分别在有持久化和无持久化的情况下,并将其与两个提示基线、一种程序归纳方法以及 Qwen3.5-9B 经训练模仿 GLM-5.3 Flash 的权重进行比较。除非提供明确的专家指导,harness 中的持久化通常不会改善记忆。在我们测试的所有模型中,大多数基于 harness 的方法学到的东西仍少于一个仅缓存每个任务演示的基线。基于 harness 的方法在未见过的任务上收获甚微或毫无收获,而基于权重的学习则显示出显著增益。这为未来基于权重的持续学习打开了大门,有望教会模型在新领域中驱动 harness。
| 评论: | 54 页,14 幅图。代码与运行记录:此 https URL |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2611.14505 [cs.LG] |
| (或 arXiv:2611.14505v3 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.14505 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自:Daniel Lenton [查看邮箱]
[v1]
2026 年 11 月 10 日星期二 18:55:01 UTC(1,095 KB)
[v2]
2026 年 11 月 11 日星期三 05:12:57 UTC(1,095 KB)
[v3]
2026 年 11 月 15 日星期日 00:35:07 UTC(1,132 KB)
来源:arXiv cs.AI · arxiv.org