arXiv cs.CL· Peter Schneider-Kamp, Jacob Nielsen, Gianluca Barmina, Danial Namazifard, Annemette Brok Pirchert, Kenneth Enevoldsen, Lukas Galke Poech·· 12 小时前AI 评分42
Mimir：基于 HRM-Text 架构的 1.78B 分层推理模型，仅用合规数据训练即超越更大模型
Mimir: A Sub-2B Hierarchical Reasoning Model Trained on Permissible Data Punches Above Its Weight Class
AI 导读
Mimir 是一个 1.78B 参数的语言模型，基于 HRM-Text 循环深度 Transformer 架构，从随机初始化直接训练于 161 个数据集、每 epoch 70.5B token 的合规数据混合，续训版 Mimir v1.5 扩展至每 epoch 103B token。
正文 · AI 翻译
摘要：训练能力强的语言模型通常依赖网络规模预训练，随后进行多阶段后训练，这在训练数据必须满足明确可允许性约束的场景中，造成了巨大的计算和数据治理障碍。我们推出 Mimir，一个基于分层推理模型文本（HRM-Text）架构的 1.78B 参数语言模型，该架构是一种循环深度 Transformer，其层被拆分为低层（L）和高层（H）堆栈，并以交错调度反复应用。Mimir 从随机初始化直接训练于精心策划的指令、推理、工具使用、多语言和合成数据混合：Mimir v1 每轮 161 个数据集和 70.5B token，其持续训练后继版本 Mimir v1.5 扩展到每轮 103B token，并对不满足可允许性标准的来源使用合成替代。在英语、丹麦语（一种约 600 万使用者的低资源语言）以及数学与代码的 20 个基准上，Mimir v1.5 在每个领域都取得了所有 2B 以下模型的最高平均分，优于 HRM-Text 1B 以及循环 Transformer Ouro 1.4B 和 Ouro 2.6B，并且在英语和丹麦语平均值上，Mimir 达到或超过了高达 9B 参数模型的性能，例如 Qwen 3.5 9B 和 Gemma 4 E4B。两项独立的记忆审计表明，尽管进行了多轮训练，记忆风险仍然很低。推理时消融显示，L 堆栈应用次数可以改变且性能平缓下降，而改变 H 堆栈应用次数会破坏模型。我们的结果提供了证据，表明分层循环语言模型可以从面向后训练的可允许数据混合中有效学习，而无需传统的网络规模预训练。
| 评论： | DFM Mimir，分层推理模型，v2：新增记忆审计 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.13517 [cs.CL] |
| （或 arXiv:2608.13517v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.13517 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jacob Nielsen [查看电子邮件]
[v1]
2026 年 8 月 13 日星期四 17:37:53 UTC（476 KB）
[v2]
2026 年 8 月 20 日星期四 18:12:30 UTC（253 KB）
[v3]
2026 年 10 月 22 日星期四 12:22:44 UTC（540 KB）
来源：arXiv cs.CL · arxiv.org