arXiv cs.AI· DiffuSpace Technical Team·· 10 小时前AI 评分60
Clover-35B-A3B-Preview 技术报告:35B 总参数 MoE 扩散语言模型
Clover-35B-A3B-Preview Technical Report
AI 导读
DiffuSpace 团队发布 Clover-35B-A3B-Preview 技术报告,这是一个总参数 35B、激活参数 3B 的 MoE 扩散语言模型,支持 thinking 模式生成。
正文 · AI 翻译
摘要:我们推出 Clover-35B-A3B-Preview(Clover),这是一个混合专家扩散语言模型,总参数 350 亿、激活参数 30 亿,支持思考模式生成。Clover 将 Gated Delta Networks 适配到块扩散中,把先前生成上下文的循环记忆与当前块内的双向 softmax 注意力相结合。历史记忆读出与当前块 token 在共享 softmax 中竞争,并配有可学习的块大小校准以及一个独立的、零初始化的右上下文卷积分支。Clover 在七项评测的智能体指标中均领先,包括 SWE-bench Verified 上的 73.6 和 Terminal-Bench 2.1 上的 51.7。在内部智能体工作负载上,使用一块 NVIDIA GB300 GPU、BF16 精度、批大小为 1 时,其报告的生成速度达到 680 tokens/s。我们围绕模型质量、草拟与验证成本以及受限内存下的部署来组织评测。我们还描述了一种决策模型变体,可在一次去噪过程中生成对相关问题的答案。在内部 500 组数据上,联合预测将问题准确率从 90.37% 提升到 93.88%,全对组准确率从 65.4% 提升到 77.0%。
| 评论: | 技术报告。代码:此 https URL 权重:此 https URL |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2611.24636 [cs.CL] |
| (或 arXiv:2611.24636v1 [cs.CL] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2611.24636 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Shansan Gong [查看邮箱]
[v1]
2026年11月18日 星期三 15:46:14 UTC(423 KB)
来源:arXiv cs.AI · arxiv.org