Mirendil 发布从零预训练模型 Fern，支持 10M token 上下文
Mirendil 发布首个从零预训练模型 Fern，支持 10M token 上下文
Mirendil 发布首个从零预训练的模型 Fern，上下文最高 10M token，约合 23MB 代码或 50 万行，接近 Megatron-LM 量级，也可一次容纳几天 agent 工作的轨迹。
meng shao· @shao__meng · X·2026-10-27 11:05· 48 分钟前AI 评分53
AI 导读
Mirendil 发布首个从零预训练的模型 Fern，上下文最高 10M token，约 23MB 代码或 50 万行，接近 Megatron-LM 量级，也可一次装下几天 agent 工作的轨迹。
正文 · 原文
Mirendil 发布首个从零预训练的模型 Fern：把 10M token 当成另一种「算力」，服务「做 AI 的人」 @mirendil
https://mirendil.com/news/introducing-fern/
10M Token 能做什么：~ 23 MB 代码 / ~50 万行，Megatron-LM 量级，或「几天 agent 干活」的轨迹一次塞进上下文。0.1 版只做了短轮 post-training；Mirendil 叙事是「参数与上下文是两条花算力的路」，架构 / 训练 / serving 都按 10M 设计；next-token 指标随上下文变长仍改善，并称预测质量可一路用到 10M。面向审计数据、读训练日志、通读 agent 轨迹这类高吞吐工作；0.1 只做了短轮 post-training。
六个使用场景
· 更大仓库上的工作
· agentic coding（跑命令、读输出、直到测试过）
· AI 研究代码（训练循环、数据管线、评测）
· 从长日志/堆栈 debug
· 通读整段 agent/训练轨迹并解释因果
· 扫描整块预训练 shard 查重复、榜单污染与垃圾数据
隆重推出 Fern，Mirendil 的首个模型：从零预训练，上下文最高可达 10M token！ 这相当于约 50 万行代码（大致是 Megatron-LM 的量级），或一个 agent 数天的工作量，全部一次性放进上下文。 它的首个版本 Fern 0.1 经过了短轮 post-training 🚢在 X 查看被引用的帖子
来源：meng shao · x.com
来源：RadarAI · aihot.news