Mirendil 发布首个从零预训练模型 Fern

Mirendil 发布首个从零预训练的模型 Fern，最高支持 10M token 上下文，约合 23MB 代码或 50 万行，接近 Megatron-LM 量级，也可一次容纳几天 agent 工作的轨迹。 据 Mirendil 称，Fern 的 0.1 版只做了短轮 post-training。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。