Metis-1.6 技术报告：单人打造 Praxis 与 Logos 两个语言模型

查看 PDF HTML（实验性）

摘要：Metis 押注的是：更好的数据、更好的训练方法和新的架构，能以极小的成本换来更大参数量所无法换来的东西。Metis-1.6 是其最新一步：两个语言模型由一位研究者从零构建，Praxis（2.94B 参数，每次前向 0.46B 激活）和 Logos（10.23B 参数，每次前向 1.18B 激活）。两者对每个 token 都运行两次混合 Mamba-2 与注意力混合专家堆栈，因此每个 token 都会被再看一遍。每个模型总共在 1.02T token 上训练：804.76B 预训练、18B 上下文扩展到 131,072 token，以及 200B 监督微调。Metis-1.6 从未打算挑战前沿模型，在 40 个后训练基准上它大多也确实没有做到：Logos 平均 52.93，在其对比集的 17 个模型中排第七，与 Qwen3-4B 相差不到一分。但它达到这一水平所用的训练数据约为披露数据的对比模型中位数的大约十二分之一，且每个 token 的激活参数比任何胜过它的模型都少，这使它在两者上都处于帕累托前沿。在数学方面，它在 30 个模型中排名第二，AIME 2025 得分 67.50%，HMMT February 2026 得分 63.64%。它在代码、指令遵循和长上下文方面较弱。报告其余部分是我认为最有价值的部分：出了什么问题。我配置的优化器从未运行，注意力在整个预训练期间都用 AdamW 训练。一个 1.77B 参数的 n-gram 记忆学会了把自己关掉。五个微调选择损失了能力。还有一个在组均值归一化下的长度奖励，一旦某组的通过率超过 2/3，就会惩罚正确解因过长而受罚，这是一个符号反转，我证明了它并用一行 clamp 修复。最后我介绍了 MoRE（Mixture of Recursive Experts，递归专家混合）背后的 10B token 消融实验，这是 Metis-1.7 的循环架构。

评论：	39 页，4 幅图，17 张表。模型与基准数据：此 https URL
主题：	机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）
引用为：	arXiv:2610.37903 [cs.LG]
	（或 arXiv:2610.37903v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.37903 arXiv 颁发的 DOI 经由 DataCite

提交历史

来自：Giulianno Vollmer [查看邮箱]
[v1] 2026 年 10 月 27 日星期二 19:44:26 UTC（55 KB）