Mistral AI 发布时序基础模型家族 Timestral，最大 209M 参数

MarkTechPost· Asif Razzaq·2026-10-19 09:18· 2 小时前AI 评分55

Mistral AI 发布 Timestral：一个 209M 预测模型家族，性能超越 Google 的 TimesFM-3

AI 导读

Mistral AI 发布时序基础模型家族 Timestral，包含 5M、28M、123M、209M 四个零样本预测模型，209M 版在 GIFT-Eval、TIME 和 fev-bench 上位居零样本预训练模型第一，fev-bench SQL skill score 为 50.39，超过 Google 的 TimesFM-3 的 48.99。

正文 · 原文

Mistral AI 发布了 Timestral，这是其首个时间序列基础模型家族。Timestral 是 Mistral AI 推出的一组 4 个零样本预测模型，参数量从 5M 到 209M。其中最大的检查点在 GIFT-Eval、TIME 和 fev-bench 上位列预训练零样本模型第一。它在推理时无需 GPU 即可实现这一点。对开发者而言，这个 Timestral 时间序列基础模型意味着可在标准服务器 CPU 上进行概率预测，并附带开放权重和推理代码。

TL;DR

• 规模：4 个模型：5M、28M、123M、209M 参数（稠密）。上下文最长 32,768 个时间步。
• 运行于：标准服务器 CPU，无需 GPU。209M 权重在 fp32 下为 837 MB。GPU 可选。
• 性能：在 GIFT-Eval、TIME 和 fev-bench 上位列零样本预训练模型第一（Mistral 报告）。
• 最佳：fev-bench SQL skill score 为 50.39，领先 TimesFM-3 的 48.99。
• 最差：GIFT-Eval MASE 为 0.658，仅以 0.003 领先 t0-gamma（0.661）。

什么是 Timestral？

Timestral 是一个时间序列基础模型（TSFM）。它在大规模、多样化的语料上预训练，然后对从未见过的数据进行零样本预测。ARIMA 等经典工具一次拟合一个序列。PatchTST 等深度模型通常在每个数据集上从头训练。Timestral 则跨领域迁移模式。

每个模型每个时间步输出 21 个分位数。它联合预测多变量目标。它接受仅过去、已知未来和类别协变量。

Timestral 如何工作？

Timestral 是一个因果、基于 patch 的 transformer，具有时间注意力和变量注意力。209M 模型使用 24 层和 768 的嵌入维度。每个 patch 覆盖 32 个时间步。单次前向传播可预测最多 1,024 步。更长的预测范围逐块运行，将每个块的中位数作为上下文反馈。

Mistral 列出了 4 项技术贡献：

• 解耦预测范围（DHF）：学习到的预测 token 读取完整历史。观测值保留在上下文中而不被掩码，这与 Toto 2.0 和 TimesFM-3 中的连续 patch 掩码不同。
• 协变量感知注意力：每个序列是目标、仅过去协变量或已知未来协变量。信息仅从协变量流向目标，防止未来信息泄漏。
• 合成优先数据：大部分训练数据是合成的，包含趋势、季节性、噪声和非线性跨序列依赖。
• 两阶段训练：先在上下文 8,192 的合成数据上预训练，然后在上下文长 4 倍的混合数据上后训练。损失是 21 个分位数上的 pinball 损失。

Timestral 在基准测试上表现如何？

以下所有分数均为零样本，来自单个检查点，无集成。它们来自 Timestral-209M 模型卡。

• GIFT-Eval：MASE 0.658，CRPS 0.446（越低越好）。
• TIME：MASE 0.626，CRPS 0.522（越低越好）。
• fev-bench：SQL 技能得分 50.39，MASE 技能得分 39.49（越高越好）。

规模扩展在顶部趋于平缓。Timestral-123M 在 GIFT-Eval 上得分为 0.659 MASE，而 209M 为 0.658。Mistral 团队表示，28M 模型在 GIFT-Eval 和 TIME 上击败了 Chronos-2。Chronos-2 的规模约为其 4 倍。

Timestral 在 CPU 上有多快？

Mistral 团队测试了一台标准服务器 CPU，使用 8 个线程。任务：基于 3 周的 15 分钟历史数据预测未来 1 天。5M 模型耗时 10 ms，209M 模型耗时 140 ms。28M 模型比 209M 快 5 倍。123M 模型在四分之三的延迟下，得分与 209M 的差距在 0.2% 以内。

Timestral 与 TimesFM-3、Chronos-2 和 Toto 2.0 相比如何？

* 如 Timestral-209M 模型卡所列。Google 和 Amazon 未在其各自的模型页面上公布对应数据。** 来自 Datadog 的模型卡。Mistral 的模型卡列出的是 0.642 / 0.539。

开发者如何部署 Timestral？

使用 pip install git+https://github.com/mistralai/timestral.git 安装该包。它需要 Python 3.10+ 和 torch 2.4+。依赖项为 PyTorch、NumPy、safetensors 和 huggingface_hub。权重从 Hugging Face 下载：5M 为 21 MB，28M 为 111 MB，123M 为 490 MB。

Mistral 的文档将 Timestral 1.0 209M 列为 公开预览版。在专有数据上的微调通过 Mistral Forge 进行。该流水线可部署在本地、VPC 或气隙环境中。

关键要点

• 4 种规模，从 5M 到 209M，全部位于准确率与规模的帕累托前沿上。
• 在零样本模型中，209M 在 GIFT-Eval、TIME 和 fev-bench 上领先。
• 仅 CPU 推理：10 ms（5M）至 140 ms（209M）。
• 32,768 步上下文，21 个分位数，原生协变量支持。
• 修改版 MIT 权重许可，不同于 TimesFM-3 的非商业许可。

查看 博客文章、GitHub 仓库和 Hugging Face 上的模型权重。所有功劳归于该项目的 researcher。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ ML SubReddit 并订阅我们的 Newsletter。等等！你在用 Telegram 吗？现在你也可以在 Telegram 上加入我们了。

文章 Mistral AI 发布 Timestral：一个性能超越 Google TimesFM-3 的 209M 预测模型系列 首次出现在 MarkTechPost。

来源：MarkTechPost · marktechpost.com