Cloudflare 发布 Clef-omni 多模态决策模型，Clef-flash 降价、Clef 提速

继上周发布 Clef 和 Clef-flash——Cloudflare 的开权重决策模型——之后，我们决定带来更多礼物。今天，我们发布 Clef-omni，它除了文本和图像外，还能接收音频和视频输入。我们还下调了 Clef-flash 的价格，使其现在比 Jev 更便宜，并且让 Clef 变得更快。

尽管对 Cloudflare 来说，模型这场游戏仍处于早期，但创新和迭代已刻在我们的 DNA 里，我们将这些原则应用于所做的每一件事。事实上，Clef 的故事在不到一周的时间里就成形了。我们在一个周五晚上决定要在决策模型领域做点什么，周末训练了模型，并在周四发布。即便时间线如此之短，我们仍能为社区交付高性能、高质量的开权重模型——想象一下未来我们还能做多少。

今天，我们很兴奋能延续这一势头，为我们的 Clef 模型家族带来新的成员和改进。这仅仅是开始，我们将继续变得更好、更快、更便宜、更具创新。

Clef-omni 接收音频、视频、图像和文本输入

我们的新模型 Clef-omni 能够接收音频、视频、图像和文本输入。这改变了决策模型的范式，自 TypeSafe 的 Jev 问世以来，这类模型大多仅支持文本。借助 Clef，我们支持了图像和视频帧数组，但 Clef-omni 能够在文本和图像之外接收音频（wav 或 mp3）和视频（mp4 或 webm）。

无需搭建将语音转写为文本的级联模型流水线，也无需从视频中拆分音频和图像通道，你只需调用一个模型即可跨任意模态做出决策。我们现在距离一个能够像我们体验世界那样与世界交互的模型更近了一步——通过音频、视觉和文本交流，集于一身。

查看我们的开发者文档，了解新的 Clef-omni 模型。我们还在 HuggingFace 上以开权重形式发布了该模型。快速上手的话，以下是如何向 Clef-omni 发送新模态输入：

curl https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/run/@cf/cloudflare/clef-omni \
  -X POST \
  -H "Authorization: Bearer $CLOUDFLARE_AUTH_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "clef-omni",
    "state": "Review the installation: a photo of the unit, an audio recording of it running, and a video of the fan.",
    "images": ["data:image/png;base64,<base64-png>"],
    "audio": ["data:audio/mpeg;base64,<base64-mp3>"],
    "videos": ["data:video/mp4;base64,<base64-mp4>"],
    "questions": {
      "label_visible": {"type": "noul", "instructions": "Is the model and serial number label visible in the photo?"},
      "sounds_normal": {"type": "noul", "instructions": "Does the unit sound like it is running smoothly, without rattling or grinding?"},
      "fan_running": {"type": "noul", "instructions": "Is the fan running in the video?"}
    }
  }'

Clef-omni 将我们的开权重决策架构扩展为原生处理多模态工作流。我们基于 Qwen3-Omni-30B-A3B-Instruct 混合专家（MoE）基础构建，该模型原本就能够在单一流水线内直接处理文本、图像、音频和视频。不过，我们采用其主要理解主干，同时舍弃文本转语音输出组件。在生产环境中，Clef-omni 会对完整载荷执行一次快速预填充，同时对所有模态和有效参数选项进行评分。

由于 Clef 模型不是大语言模型（LLM），我们跳过输出 token 生成，因此省去了转写或为传入文件生成字幕的开销。媒体元素直接映射到统一序列中，视频和音频与视觉帧同步进行联合处理。随后，Clef-omni 使用我们的两阶段注意力路由，直接从内部嵌入中提取候选值：每个有效选项都会从输入中收集关键证据（无论它们埋藏在文本片段、视觉元素还是音频流中），之后字段向量在整个上下文上进行交叉注意力计算，以得出置信度分数。我们加入了一个内置的词法语法，以保留选项语义，从而能够对每种输入类型提供快速、受模式约束的评分。

我们使用与训练 Clef 相同的技术来训练该模型——冻结 Qwen3 主干网络，训练低秩适配器（LoRA），并应用我们标准的后训练方法：将标签平滑交叉熵损失与 Brier 分数校准相结合。最终得到的模型具有韧性，无论模式变化、字段顺序和提示结构如何，都能成功完成任务。

这为 Clef 模型家族带来了多项核心升级。经过校准、受模式约束的决策现在可以在单次 API 调用中无缝处理文本、图像、音频和同步视频。 它同样很快。纯文本决策的中位返回时间约为 130 毫秒，图像输入约为 150 毫秒，音频片段在几百毫秒内完成。即使是带声音的完整 21 秒视频片段，也能在约 1.5 秒内完成评分，全部在单次 API 调用中完成。

我们的基准测试显示，即使引入新模态和 MoE 架构，模型在各基准测试中仍表现强劲。

我们还对照 TypeSafe evals 进行了基准测试，以展示 Clef-omni 的表现。

Clef-flash 模型现在更便宜了

我们听到了你们的反馈——你们想要一个足够实惠、可以融入任何工作流的决策模型。我们做了一些优化，现在可以以更低的价格提供 Clef-flash。我们希望 Clef 能够为你们所有智能体工作流提供可扩展的决策能力，而现在我们的定价也在激励这一点。

我们成功优化了模型，使 Clef-flash 现在比 Jev 更便宜 ，同时仍保持高性能和高质量。请查看 开发者文档 以随时获取最新定价信息，包括有关图像和音频模态如何转换为输入 token 以进行计价的更多细节。

• Clef-flash – 原为每百万输入 token $0.09，现为 每百万输入 token $0.038
• Clef – 保持 每百万输入 token $0.24
• Clef-omni – 今日发布，价格为 每百万输入 token $0.15

然而，为了实现更便宜的定价，我们必须做出一个权衡，即削减 Clef-flash 的上下文窗口。托管版 Clef-flash 现在的上下文窗口为 24k，而不是之前宣传的 64k。Hugging Face 上的模型权重未做改动，并且经过训练可支持 256k 上下文窗口，如果你选择自行托管的话。

从我们的使用数据来看，只有 0.24% 的请求超过 24k 输入 token。基于这一数据，我们决定将 Clef-flash 的上下文窗口降至 24k，以便以更易接受的入门价格提供。我们的 Clef 模型仍保持 64k 上下文窗口，我们鼓励有更大上下文需求的用户改用 Clef 而非 Clef-flash。

Clef 模型现在更快了

Clef 模型的速度也更快了，这得益于我们对 Workers AI 上托管版 Clef 的新优化。我们没有发布新的模型权重，因为我们所做的大部分优化都在服务基础设施层面，而非实质性地改变模型权重或架构。请查看我们下面的新速度：

我们所做的优化之一是将模型服务迁移到 SGLang。我们与 SGLang 团队合作并提交了拉取请求以纳入 Clef（PR #42721），该功能将在 SGLang 0.5.22 中发布。由于我们发布了权重，你也可以自行托管 Clef，新的 SGLang 启动命令可在我们更新的 Hugging Face 仓库 以及 SGLang cookbooks 中找到。

人们如何使用 Clef？

在 Cloudflare，我们已有团队在试验将 Clef 作为帮助跨通用领域进行分类的模型。看着团队采用 Clef 最酷的一点是，检测和分类的能力已经转移到模型层，任何人都可以开始将决策模型融入他们的用例中。以前，即使是零样本分类器，小型模型也可能不够强大，无法在未经进一步调优的情况下跨任何领域进行分类。你可能需要组建一个专门的机器学习团队来帮助针对你的特定领域进行训练，并收集数据集以训练更好的模型。现在，你只需调用一个模型即可立即精确地解析输入数据。

Cloudflare 团队使用 Clef 的几个亮点：我们的公共 GitHub 文档仓库使用 Clef 即时检测并关闭垃圾问题。 我们的内容管理系统 EmDash 审核插件库中的钓鱼内容。我们的数据丢失防护团队正在扫描数据以查找潜在的个人身份信息（PII），例如政府身份证件。我们的威胁情报团队正在使用 Clef 帮助检测恶意域名。

试一试吧！

我们很高兴为你带来 Clef 模型家族的更多内容，包括音频和视频等新模态，以及通过更便宜的价格和更快的速度让模型更易获取。Clef 完全兼容 Jev-API，并可通过 AI Gateway 使用，因此今天试用 Clef 只需更改模型 ID 即可。查看我们的开发者文档 了解更多信息。

感谢大家对 Cloudflare 首批模型的所有喜爱和热情欢迎——我们专注于为你带来更多。试用我们的 Clef 模型家族，并告诉我们你的想法。