小米发布 MiMo-V2.6 技术报告：以扩展强化学习推动模型自我改进

作者：小米大模型核心团队：Zongming Qiao、Ziyue Hua、Zirui Ou、Zihao Yue、Zihan Jiang、Zhuo Huang、Zhiyang Chen、Zhixian Zheng、Zhipeng Xu、Zhengrui Ma、Yuyang Hu、Yuhang Dong、Yuechen Zhang、Yudong Wang、Yuanxin Liu、Yixin Yang、Yishuo Cai、Yikai Zhao、Yihan Yan、Yifan Zhang、Yifan Song、Xiyu Wei、Xing Zhang、Xin Zhang、Xiaoqian Liu、Xiaodong Ji、Xiangwei Deng、Xueyu Guo、Wenhan Ma、Weimin Xiong、Weikun Wang、Weiji Zhuang、Shuo Liu、Shuhuai Ren、Shuhao Gu、Shimao Chen、Shijie Cao、Shihua Yu、Shicheng Li、Shengjie Zhou、Shaolei Zhang、Rang Li、Qiying Wang、Qingkai Fang、Qianli Chen、Minzheng Wang、Liwen Wang、Linli Yao、Linghao Zhang、Liangyu Cheng、Liang Zhao、Lei Li、Jinhao Dong、Jinyu Xiang、Jianyu Wei、Jiangshan Duo、Huaqiu Liu、Huanjie Fan、Hongyi Guan、Hongshen Xu、Hao Tian、Hanyu Li、Hailin Zhang、Gang Wang、Fuli Luo、Feng Wei、Dong Zhang、Dawei Zhu、Chiheng Lou、Chenhong He、Chenhao He、Chenghua Liu、Bowen Ye、Bowen Shen、Boshen Xu、Bo Yang、Bingquan Xia、Bangjun Xiao、Baixuan Xu、Zhouxiang Mao、Zhiyang Zhang、Zhixiang Xu、Zhenru Lin、Zhengju Tang、Zhaojun Huang、Yuzhe Weng、Yuxing Xiang、Yuxiao Li、Yuheng Yang、Yuhang Wang、Yuchen Liu、Yuanyuan Tian、Yuanliang Dong、Yu Cheng、Yongzhe He、Yongshun Liang、Yong Wang、Yiyan Wang、Yitian Gong

等（另有 49 位作者未显示）

查看 PDF HTML（实验性）

摘要：强化学习（RL）是推动大型基础模型走向自我提升的核心训练范式。本报告介绍了 MiMo-V2.6 系列，这是一个全模态家族，通过扩展 RL 计算量来推动模型智能的前沿。在 RL 之前，我们在广泛的多模态语料库上进行中期训练，以提供充足的探索空间，并在预训练的 hybrid-SWA 架构上构建坚实的基础设施，以支持后续的规模扩展。我们从三个维度扩展 RL 计算量：（1）更大的批次和更高的吞吐量，采用异步训练，在上下文长度高达 1M 时，每步消耗 1,568 个样本和 2.7-3.7B tokens；（2）更多样、更复杂的环境，在混合 agent harnesses 下涵盖代码、通用、视觉和网络领域；（3）更多的评分器计算量，通过分组式智能体评分，为长时程任务产生更准确的奖励信号，并引导模型走向更短、更 token 高效的解决方案。为了在大规模下保持训练稳定，我们冻结了 MoE 路由器，并建立了针对奖励黑客的多层防御。我们进一步构建了混合任务智能体 RL 的基础设施，包括统一的轨迹表示、高并发多框架 rollout、解耦的控制平面和数据平面，以及训练-推理一致性。我们开源了训练动态、RL 环境和 RL 框架，以促进可复现性和对规模化 RL 与模型自我提升的进一步研究。

提交历史

来自：Jinhao Dong [查看电子邮件]
[v1] 2026年10月8日星期四 13:41:53 UTC（2,817 KB）