跳到正文
arXiv cs.AI· Dewu Zheng, Yang Ye, Hongyu Zhang, Jun Yu, Yanlin Wang·· 23 小时前AI 评分42

RSI-Prime:用 350 条实验轨迹训练模型学会训练模型

RSI-Prime: Training Models to Train Models

AI 导读

研究者构建 RSI-Prime 数据集,包含七类任务的 350 条完整实验轨迹,用于提升 LLM 的模型训练能力。该数据集通过细粒度决策识别与质量标注,并采用决策级 loss masking 排除低质量行为的监督。在自主后训练基准 PostTrainBench 上,GLM-5.3 经 RSI-Prime 训练后整体性能相对提升 31.95%。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:使大语言模型(LLM)能够自主开展训练并改进目标模型,是递归自我改进(RSI)的重要基础。随着 LLM 的角色从被训练扩展到开展训练,其模型训练能力值得专门研究与系统性发展。为此,我们构建了 RSI-Prime,一个用于提升模型训练能力的数据集,涵盖七个任务类别的 350 条完整实验轨迹。为帮助 LLM 从训练实践中学习做出高质量实验决策,我们进行了细粒度决策识别与质量标注,然后应用决策级损失掩码以排除对低质量行为的监督。在自主后训练基准 PostTrainBench 上使用 GLM-5.3 进行的实验表明,在 RSI-Prime 上训练使整体性能相较原始 GLM-5.3 取得 31.95% 的相对提升,凸显了通向未来 RSI 系统的一条路径——在该系统中,模型能够自主维持自身的进步。
主题: 人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2611.23138 [cs.AI]
  (或 arXiv:2611.23138v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23138

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Dewu Zheng [查看邮箱]
[v1] 2026年11月17日星期二 17:55:30 UTC(317 KB)

来源:arXiv cs.AI · arxiv.org