arXiv cs.CL· Haoyu Zhao, Sitian Tu, Yuxuan Huang, Huichi Zhou, Zhangyue Yin, Jiahao Huang, Jingyuan Xu, Tianmiao Shi, Jin Shi, Nianxi Zhang, Yangmiao Zhang, Zhuolang Chan, Huiyan Hu, Chenchao Sheng, Yaqing Luo, Yue Chen, Huaxiu Yao, Meng Fang, Jun Wang·· 14 小时前AI 评分45
Continual Learning Exam（CLE）：面向 LLM 智能体长程持续学习的基准测试
Continual Learning Exam: Benchmarking Long-Horizon RSI and Experiential Learning in LLM Agents
AI 导读
研究者推出 Continual Learning Exam（CLE）基准，由 50+ 领域专家构建 120 个人工撰写任务、每任务五级阶梯共 600 级，覆盖 12 个职业领域的 89 个岗位。
正文 · AI 翻译
作者：Haoyu Zhao、Sitian Tu、Yuxuan Huang、Huichi Zhou、Zhangyue Yin、Jiahao Huang、Jingyuan Xu、Tianmiao Shi、Jin Shi、Nianxi Zhang、Yangmiao Zhang、Zhuolang Chan、Huiyan Hu、Chenchao Sheng、Yaqing Luo、Yue Chen、Huaxiu Yao、Meng Fang、Jun Wang
摘要：持续学习是指 LLM 智能体通过从经验中获取、提炼和应用知识，同时保留有用的先验知识，从而随时间推移不断改进的能力。这对于在长时间跨度上学习的智能体至关重要，但当前的评估大多只考察单个任务的表现，而非通过积累经验获得的提升。我们提出了持续学习考试（CLE），这是一个由 50 多位领域专家开发的大规模基准，用于衡量真实专业工作流程中由经验驱动的改进。CLE 包含 120 个人工编写的任务，每个任务组织为五级阶梯，共产生 600 个级别，覆盖 12 个职业领域的 89 个专业角色。智能体必须通过每一级才能解锁下一级，后续级别建立在先前任务中积累的经验之上。评估智能体依据人工编写的评分标准对每次提交进行评估。我们比较了单次提交设置与在失败后提供诊断反馈并允许一次修订的设置。在使用前沿 LLM 的 17 种 harness-模型配置中，反馈与修订带来了 5.3 个百分点的中位完成度提升。然而，表现最佳的系统仅通过 47.7% 的级别，并仅在 23.3% 的任务中完成全部五个级别，这凸显了现有前沿 LLM 从经验中持续学习的难度。因此，该数据集也可用于对 LLM 进行后训练，以增强其持续学习能力。
| 评论： | 项目页面：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.33956 [cs.LG] |
| （或 arXiv:2610.33956v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.33956 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haoyu Zhao [查看邮箱]
[v1]
2026 年 10 月 25 日星期日 00:00:25 UTC（12,887 KB）
来源：arXiv cs.CL · arxiv.org