IQuest-Q1 发布：320B 总参数、15B 激活的 MoE 智能体基础模型

作者：A. Jian Yang、An Huang、Bo Dan、Chen Mu、Chengran Yang、Chuan Shi、Feng Chang、Hongxin Li、Hongyuan Tao、Jinxing Zhang、Jujie He、Kun Wang、Lin Jing、Ming Yang、Qicheng Hu、Renyuan Li、Shark Liu、Shawn Guo、Shi Qing、Shi Zhong、Tianyu Zheng、Wei Liu、Wei Zhang、Wenrui Cai、Wenxiao Chen、Xuxing Chen、Yan Xing、Yi Xing、Yifan Luo、Yiran Xing、Yizhi Li、Yongsheng Kang、Yucheng Ding、Yue Song、Yun Qing、Yunqi Liu、Zelong Huang、Zhengmao Ye、Zhentao Fan、Zhiteng Li、Ziling Huang、Bihong Tang、Bingli Wang、Ce Jun、Changhao Chen、Chen Hu、Chen Xiao、Chi Liu、Chunjiang Ge、Danyang Li、Deyang Kong、Dian Qi、Ding Tan、Evan Yang、Fanglin Xu、Fei Bai、Gang Liu、Guochang Li、Hao Tang、Haoran Feng、Haowen Wang、Huahao Hu、Huanjin Yao、Huatong Song、Jia Deng、Jiajun Wu、Jialiang Cheng、Jiayi Liang、Jiayi Wu、Jie Deng、Jiejun Tan、Jing Yang、Jingda Xu、Junhang Cheng、Junxiao Liu、Kai Lv、Kaixiang Pan、Kecheng Lu、Kun Zeng、Kun Zheng、Kunbo Ding、Liang Qiu、Lingyi Sun、Luan Zhang、Mengxiao Lv、Ning Dong、Pei Wang、Peng Zhang、Qingsong Cai、Qixiang Yin、Qiyao Wang、Renbiao Liu、Renfei Dang、Ruihang Li、Ruirui Huang、Shanhui Yin、Shen Jian、Shengjie Fang、Shikai Li、Shinan Zhang

等（另有 77 位作者未显示）

查看 PDF HTML（实验性）

摘要：我们提出 IQuest-Q1，这是一个稀疏混合专家（MoE）智能体基础模型，总参数 320B（激活参数 15B）。IQuest-Q1 通过三阶段流程开发：（1）稳定高效的预训练，将 Stable SplitNorm、Muon 和 muP 与两阶段课程相结合，其中第二阶段增加编码数据混合比例，在安全学习率与最优学习率之间保持较大的稳定裕度；（2）细粒度中期训练，跨领域和格式扩展数据混合，并逐步延长上下文；（3）多脚手架与多版本后训练，在各种脚手架下结合 SFT、领域专用 RL 和 MOPD，以整合互补的训练信号并增强智能体编码能力。此外，模型合并将不同专家以及来自不同阶段的检查点相结合，同时缓解其参数更新之间的冲突。由此得到的 IQuest-Q1 在编码和通用任务上均展现出能力。我们将 IQuest-Q1 作为开源模型发布，以支持社区研究与开发。

提交历史

来自：Jian Yang [查看电子邮件]
[v1] 2026 年 10 月 22 日星期四 09:01:29 UTC（2,232 KB）