arXiv cs.AI· Kathrin Korte, Christian Metzner, Akshay Bedhotiya, Viet Anh Khoa Tran, Eleni Nisioti, Sebastian Risi·· 10 小时前AI 评分18
持续学习中对任务的隐含假设
Implicit Assumptions About Tasks in Continual Learning
AI 导读
持续学习通常将数据集划分为任务并按顺序呈现，但数据相似度、变化速率和呈现顺序等因素究竟指代底层数据、数据划分还是学习器本身，往往未被明确。研究通过受控的教师—学生实验表明，以不同粒度划分同一底层轨迹、改变呈现顺序、调整数据相似度结构，都会导致不同的测量结果。作者还审查了代表性基准，指出在预训练语料未公开的基础模型中，底层数据的属性由模型初始状态继承。
正文 · AI 翻译
摘要：持续学习研究的是模型如何从随时间陆续接收的数据中积累知识，而非一次性获取全部数据。在实践中，这通常通过将数据集划分为多个任务并按顺序呈现来实现。对由此得到的测量结果的解释会考虑各片段之间的相似性、数据变化的速度以及呈现顺序等因素。这些因素中的每一个都可以根据底层数据、施加于其上的划分方式或遇到该数据的学习器来定义。这些层面不一定相互重合，而所报告的数值究竟指代哪个层面通常被隐含处理。我们对这些层面加以区分，并确定哪些属性在每个层面上获得取值。在受控的教师—学生实验中，我们证明：以不同粒度对同一底层轨迹进行划分、改变呈现顺序，以及改变底层数据的相似性结构，都会导致不同的测量结果。我们回顾了具有代表性的基准，以确定其中陈述了这些属性中的哪些。在无法检查底层数据的情况下（例如基于未公开预训练语料构建的基础模型），其属性由模型的初始状态继承，而在此基础上施加的训练则可以被描述。
| 评论： | 已被 NeurIPS 2026 持续学习在基础模型与具身智能体时代研讨会接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.41792 [cs.LG] |
| （或 arXiv:2610.41792v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41792 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kathrin Korte [查看邮箱]
[v1]
2026年10月30日星期五 14:22:26 UTC（2,753 KB）
来源：arXiv cs.AI · arxiv.org