跳到正文
热点事件持续更新

IQuest 开源 320B 智能体基座模型 Q1

1 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

IQuest 发布并开源了智能体基座模型 IQuest-Q1,采用稀疏 MoE 架构,总参数 320B、激活参数 15B。IQuest 称,开源目的是支持社区研究与开发。 该模型训练分三阶段:预训练结合 Stable SplitNorm、Muon 与 muP,并在第二阶段通过两阶段课程提高编码数据配比;中训练扩展跨领域、跨格式数据并逐步延长上下文;后训练结合 SFT、领域专用 RL 与 MOPD,覆盖多种 scaffold。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. arXiv cs.CL
    IQuest-Q1 发布:320B 总参数、15B 激活的 MoE 智能体基础模型

    IQuest-Q1 是一个稀疏 MoE 智能体基础模型,总参数 320B、激活参数 15B,以开源形式发布。其训练分三阶段:预训练结合 Stable SplitNorm、Muon 与 muP,并用两阶段课程在第二阶段提高编码数据配比;中训练扩展跨领域、跨格式数据并逐步延长上下文;后训练结合 SFT、领域专用 RL 与 MOPD,覆盖多种 scaffold。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。