Mimir：1.78B 分层推理模型仅用合规数据训练

Peter Schneider-Kamp 等作者发布论文，提出并训练了 Mimir——一个 1.78B 参数的分层推理语言模型，基于 HRM-Text 循环深度 Transformer 架构，层分为低层（L）与高层（H）两个堆栈并交替重复应用。模型从随机初始化直接训练于 161 个数据集、每 epoch 70.5B token 的合规数据混合；续训版 Mimir v1.5 扩展至每 epoch 103B token。 作者称，该模型仅用合规数据训练即超越更大模型。这一效果来自论文作者的表述，尚未经独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。