arXiv cs.AI· Dewu Zheng, Yang Ye, Hongyu Zhang, Jun Yu, Yanlin Wang·· 23 小时前AI 评分42
RSI-Prime:用 350 条实验轨迹训练模型学会训练模型
RSI-Prime: Training Models to Train Models
AI 导读
研究者构建 RSI-Prime 数据集,包含七类任务的 350 条完整实验轨迹,用于提升 LLM 的模型训练能力。该数据集通过细粒度决策识别与质量标注,并采用决策级 loss masking 排除低质量行为的监督。在自主后训练基准 PostTrainBench 上,GLM-5.3 经 RSI-Prime 训练后整体性能相对提升 31.95%。
正文 · AI 翻译
摘要:使大语言模型(LLM)能够自主开展训练并改进目标模型,是递归自我改进(RSI)的重要基础。随着 LLM 的角色从被训练扩展到开展训练,其模型训练能力值得专门研究与系统性发展。为此,我们构建了 RSI-Prime,一个用于提升模型训练能力的数据集,涵盖七个任务类别的 350 条完整实验轨迹。为帮助 LLM 从训练实践中学习做出高质量实验决策,我们进行了细粒度决策识别与质量标注,然后应用决策级损失掩码以排除对低质量行为的监督。在自主后训练基准 PostTrainBench 上使用 GLM-5.3 进行的实验表明,在 RSI-Prime 上训练使整体性能相较原始 GLM-5.3 取得 31.95% 的相对提升,凸显了通向未来 RSI 系统的一条路径——在该系统中,模型能够自主维持自身的进步。
| 主题: | 人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2611.23138 [cs.AI] |
| (或 arXiv:2611.23138v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23138 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Dewu Zheng [查看邮箱]
[v1]
2026年11月17日星期二 17:55:30 UTC(317 KB)
来源:arXiv cs.AI · arxiv.org