arXiv cs.CL· Taiheng Pan·· 11 小时前AI 评分42
从 RL 论文到框架代码：七大开源训练框架的收录与评审机制研究
From RL Papers to Framework Code: Inclusion and Review in Seven Open-Source Training Frameworks
AI 导读
研究追踪七个开源 RL 后训练框架的提交历史，并将其与 2025 年 1 月至 2026 年 6 月间 6,939 篇经筛选的 arXiv 论文关联，发现 1,598 篇提出通用 RL 训练方法的论文中仅 37 篇被至少一个框架收录。
正文 · AI 翻译
摘要：实践者通过训练框架将强化学习方法用于语言模型，因此框架所包含的方法对其用户而言只需更改一次配置即可使用。我们衡量这种情况发生的频率。我们追溯了七个用于 RL 后训练的开源框架的提交历史，并将它们与 2025 年 1 月至 2026 年 6 月期间筛选出的 6,939 篇 arXiv 论文关联起来。在提出通用 RL 训练方法的 1,598 篇论文中，有 37 篇进入了至少一个框架。在五个按季度划分的论文队列中，180 天内被纳入的论文数量保持在 5 到 7 之间，而队列规模从 72 篇增长到 386 篇。与同一季度的论文相比，被纳入的论文更常训练 30B 参数或以上的策略，比例为 41% 对 10%；也更常更改现有损失中的系数、裁剪、掩码或权重，比例为 29% 对 9%。这两个差距在排除维护框架的公司所发表的论文后依然成立，而两组中代码发布的情况同样常见。框架的 issue 和 pull request 显示，很少有方法在公开场合被拒绝。在未被任何框架纳入的通用方法中，超过九成在框架的 issue 和 pull request 中没有引用或提及它们的讨论串，而许多确实出现的提案则一直处于开放状态且无人回复。另外两份记录——框架的 issue 和 13 个大型开放权重模型的技术报告——显示，用户很少公开报告训练失败，且这些报告陈述了 13 个被广泛纳入的方法中的 8 个。我们将数据发布为一个追踪器，它将训练失败与框架实现关联起来，并列出每个框架的贡献规则和此前的提案。
| 评论： | 29 页（正文 13 页），5 幅图，12 张表。数据和代码见 此 https URL 和 此 https URL |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.28027 [cs.LG] |
| （或 arXiv:2610.28027v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28027 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Taiheng Pan [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 11:16:01 UTC（122 KB）
来源：arXiv cs.CL · arxiv.org