arXiv cs.AI· Haolin Tian, Yikang Li, Tonghan Wang·· 3 天前AI 评分29
GrowRL：为 LLM 强化学习生长与迁移计算通路
Growing and Transferring Pathways for LLM Reinforcement Learning
AI 导读
GrowRL 是一种通过结构生长把强化学习更新组织为紧凑计算通路的 RL 方法：冻结预训练主干，在每层 Transformer 新增独立的因果注意力分支和前馈网络分支，仅更新这些新增通路。
正文 · AI 翻译
摘要：强化学习（RL）可以显著提升大语言模型的推理能力，但一次有效的训练运行需要相当多的资源。将强化学习所获得的计算跨模型复用，将扩展这种训练的价值。我们提出 GrowRL，一种通过结构增长将学习到的更新组织为紧凑计算通路的强化学习方法。GrowRL 冻结预训练主干，并在每个 Transformer 层添加一个独立的因果注意力分支和一个前馈网络分支。零初始化的输出投影在初始化时保持预训练策略不变，强化学习仅更新新增的通路。训练后，学习到的通路保持显式形式，从而可以迁移到结构兼容的目标模型，并在冻结目标主干的情况下进行后续适配。该架构还支持额外通路的顺序迁移。通过将学习到的注意力和前馈计算与预训练权重分离，GrowRL 为保存和复用一次强化学习运行的结果提供了显式结构。在五个主干上的实验表明，以少量可训练参数即可获得有竞争力的数学推理和分布外性能。学习到的通路在所有三个迁移方向上都能带来即时收益，在每种情况下，仅进行 10 次目标侧更新后的性能就已接近 100 次更新后的性能。这些结果支持将计算通路作为参数高效且可复用的强化学习适配单元。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16489 [cs.LG] |
| （或使用 arXiv:2610.16489v1 [cs.LG] 引用此版本） | |
| https://doi.org/10.48550/arXiv.2610.16489 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Haolin Tian [查看邮箱]
[v1]
2026年10月12日星期一 09:43:00 UTC（214 KB）
来源：arXiv cs.AI · arxiv.org