arXiv cs.CL· Bangrui Xu, Jie Yang, Sidi Chen, Xuanhe Zhou, Jiantao Qiu, Qianyu Yang, Zijie Wang, Fan Wu, Zhoufutu Wen·· 10 小时前AI 评分31
SelfImprove-Bench：评估自我改进智能体的泛化能力
SelfImprove-Bench: Evaluating Generalization in Self-Improving Agents
AI 导读
研究者提出 SelfImprove-Bench，一个针对递归自我改进（RSI）系统的评估框架，将任务组织为探索、规划、推理三类能力场景，并设置 G0 到 G4 的泛化阶梯等级衡量能力增益的迁移程度。实验显示，现有 RSI 方法在不同泛化等级上的进化增益并不一致。
正文 · AI 翻译
摘要：递归自我改进（RSI）系统日益被视为加速迈向通用人工智能的一条有前景的途径。这类系统旨在通过改进自身的工作流程、并递归地改进指导后续改进的策略，从而自主提升能力，且所获增益能够泛化到未见过的 this http URL；然而，现有评估缺乏可靠的指标来区分能力增益与场景拟合，缺乏面向未见任务与难度的可持续且可扩展的协议，也缺乏将改进细粒度归因于演化轨迹的手段。为此，我们提出 SelfImprove-Bench，一个 RSI 评估框架，它将任务组织为三种主要能力（即探索、规划、推理）作为引导模型演化的场景。我们在游戏上实例化这些任务以保证可控性与可复现性，并借助任务模板与难度系数实现可扩展的生成与编排。除任务级得分外，SelfImprove-Bench 还将评估组织为泛化阶梯等级 G0 至 G4，用以衡量增益从训练条件迁移的程度。实验表明，现有 RSI 方法的演化增益在不同泛化等级上并不一致。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2611.02797 [cs.AI] |
| （或 arXiv:2611.02797v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02797 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Bangrui Xu [查看邮箱]
[v1]
2026年11月2日星期一 09:08:12 UTC（556 KB）
来源：arXiv cs.CL · arxiv.org