跳到正文
arXiv cs.AI· Xingchen AGI Lab, :, Baotian Hu, Bingkai Yang, Boyang Wang, Changzai Pan, Chao Lyu, Chao Wang, Chen Li, Chenshuo Pan, Chenyu Lin, Chenyuan Zhang, Chongming Liu, Dawei Fan, Di Wu, Dong Guo, Dong Li, Dongfang Li, Enlin Liu, Fanye Xiao, Fengkai Li, Fubei Yao, Gang Lin, Han Gao, Hanming Wu, Haowei He, Huapeng Liu, Hua Wang, Huinan Xu, Jiahong Xiong, Jiaxin Peng, Jianxiang Ma, Jianxing Zhuge, Jie Zhang, Ji Xiong, Jinglin Chen, Jingqi Li, Jingxuan Li, Jiwang Ye, Junchen Li, Junbiao Li, Junyang Wu, Kaidong Yu, Kaipeng Jia, Kehai Chen, Kuai Li, Laobin Liu, Lei Li, Libo Qin, Lingling Shi, Luwen Pu, Menghao Xu, Mengjiao Bao, Mengqi Chen, Min Zhang, Mingrui Wang, Naying Wang, Peicong Han, Peiming Guo, Pengfei Li, Qiang Feng, Qi Wang, Qingjun Zhu, Qingli Li, Qitai Ding, Qiyi Xie, Quanchao Zhao, Rongbao Han, Rui Xue, Ruiyu Fang, Ruiting Song, Shijie Li, Shiquan Wang, Shuangyong Song, Sishi Xiong, Teng Su, Wankang Bao, Weijie Zhang, Wei Mao, Weiwei Fu, Weiyang Huang, Wenmin Deng, Wenqing Hu, Wujie Zhong, Xi Yu, Xiaohui Hu, Xiaomin Fang, Xiaomeng Huang, Xiaoqiong Shi, Xiaotong Shang, Xiaoyu Li, Xinglei Xu, Xin Jiang, Xin Wang, Xin Zhang, Xinzhang Liu, Xue Liu, Xuefeng Bai, Xuewei He, Yahan Li, Yanhan Zhang, Yanlei Xue, Yanzhang Wu, Yang Yu, Yi Liu, Yin Zhang, Yingyan Li, Yitong Yao, Yixuan Li, Yongqiang Xia, Yongxiang Li, Yinzhou Zhu, Yu Zhao, Yuhao Jiang, Yunpeng Zhang, Yuting Lin, Yuxuan Wu, Yuyao Huang, Yuyi Wang, Zebo Peng, Zhenwu Pei, Zhenxiong Li, Zhao Wang, Zhaoxi Zhang, Zhihao Yang, Zhiqiang Dong, Zhiwei Yan, Zhilong Lu, Zhonghao Guo, Zhongheng Wu, Zhongjiang He, Zhongqiu Li, Zhu Yuan, Zhuoru Jiang, Zhuoyi Wei, Zijia Guo, Zilu Huang, Zhipeng Guo, Zirui Li, Zihan Wang·· 4 小时前AI 评分58

星火 Xing4 系列模型:在昇腾芯片与 MindSpore 上训练前沿智能体模型

TeleChat to Xing4: Advancing Frontier Agentic Models on Domestic Chips and Frameworks

AI 导读

Xingchen AGI Lab 发布技术报告,介绍延续 TeleChat 系列的 Xing 4 大模型,在昇腾平台上协同推进模型架构与训练基础设施。报告称其预训练基础设施基于 MindSpore HyperParallel,结合拓扑感知混合分片与分布式优化器执行,在 8,192 张昇腾 910C 上完成 285B 参数模型预训练。

正文 · AI 翻译

作者:Xingchen AGI Lab:Baotian Hu、Bingkai Yang、Boyang Wang、Changzai Pan、Chao Lyu、Chao Wang、Chen Li、Chenshuo Pan、Chenyu Lin、Chenyuan Zhang、Chongming Liu、Dawei Fan、Di Wu、Dong Guo、Dong Li、Dongfang Li、Enlin Liu、Fanye Xiao、Fengkai Li、Fubei Yao、Gang Lin、Han Gao、Hanming Wu、Haowei He、Huapeng Liu、Hua Wang、Huinan Xu、Jiahong Xiong、Jiaxin Peng、Jianxiang Ma、Jianxing Zhuge、Jie Zhang、Ji Xiong、Jinglin Chen、Jingqi Li、Jingxuan Li、Jiwang Ye、Junchen Li、Junbiao Li、Junyang Wu、Kaidong Yu、Kaipeng Jia、Kehai Chen、Kuai Li、Laobin Liu、Lei Li、Libo Qin、Lingling Shi、Luwen Pu、Menghao Xu、Mengjiao Bao、Mengqi Chen、Min Zhang、Mingrui Wang、Naying Wang、Peicong Han、Peiming Guo、Pengfei Li、Qiang Feng、Qi Wang、Qingjun Zhu、Qingli Li、Qitai Ding、Qiyi Xie、Quanchao Zhao、Rongbao Han、Rui Xue、Ruiyu Fang、Ruiting Song、Shijie Li、Shiquan Wang、Shuangyong Song、Sishi Xiong、Teng Su、Wankang Bao、Weijie Zhang、Wei Mao、Weiwei Fu、Weiyang Huang、Wenmin Deng、Wenqing Hu、Wujie Zhong、Xi Yu、Xiaohui Hu、Xiaomin Fang、Xiaomeng Huang、Xiaoqiong Shi、Xiaotong Shang、Xiaoyu Li、Xinglei Xu、Xin Jiang、Xin Wang、Xin Zhang、Xinzhang Liu、Xue Liu、Xuefeng Bai、Xuewei He、Yahan Li、Yanhan Zhang

等(另有 39 位作者未显示)

查看 PDF HTML(实验性)

摘要:我们提出 Xing 4,这是一系列大语言模型,通过在昇腾上对模型架构与训练基础设施的协同推进,延续了 TeleChat 系列。本报告描述了该系列背后的设计原则与系统工程,涵盖架构选择、大规模预训练以及推理与智能体后训练。我们研究了稀疏激活、注意力设计、模型深度与宽度以及投机解码如何在模型容量与计算、内存访问和执行开销之间取得平衡。我们的预训练基础设施构建于 MindSpore HyperParallel 之上,结合了拓扑感知的混合分片、高效的分布式优化器执行,以及对长序列工作负载和激活内存的协同管理。CPU 亲和性与核心隔离进一步减少了主机调度干扰。这些机制共同支撑了在 8,192 张昇腾 910C 卡上对 285B 参数模型的预训练,为架构与系统研究提供了具体的实验环境。在后训练方面,我们推出了 TeleGym,这是一个统一的智能体执行平台,将执行、评估和轨迹构建与策略优化相连接。分离式异步执行、有界过采样和部分 rollout 能够适应异构任务时长,同时在策略更新之间保持轨迹的连续性。这些进展共同为 Xing 4 在模型规模以及日益严苛的推理与智能体工作负载方面的持续发展,奠定了面向昇腾的训练基础。
学科: 人工智能(cs.AI)
引用为: arXiv:2611.22115 [cs.AI]
  (或 arXiv:2611.22115v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22115

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Di Wu [查看邮箱]
[v1] 2026年11月17日星期二 02:58:31 UTC(8,023 KB)

来源:arXiv cs.AI · arxiv.org