Cloudflare 发布 Clef-omni：30B-A3B 多模态决策模型，单次调用评分文本、图像、音频和视频
Cloudflare 于 2026 年 10 月 9 日发布开放权重决策模型 Clef-omni，可在一次调用中对文本、图像、音频和视频打分。
MarkTechPost· Asif Razzaq·2026-10-12 07:15· 2 小时前AI 评分55
认识 Cloudflare Clef-omni：一个面向音频、视频、图像和文本的 30B-A3B 多模态决策模型
AI 导读
Cloudflare 于 2026 年 10 月 9 日发布开放权重决策模型 Clef-omni，可在一次调用中对文本、图像、音频和视频打分。
正文
Cloudflare 发布了 Clef-omni，这是其 Clef 决策模型家族中新的开放权重成员。Clef-omni 是一个 Cloudflare 决策模型，可在 1 次调用中对文本、图像、音频和视频打分。它于 2026 年 10 月 9 日发布，距 最初的 Clef 和 Clef-flash 发布 已过去 8 天。同一次更新将 Clef-flash 的价格降至低于 TypeSafe 的 Jev，并使托管的 Clef 速度大约提升 2 倍。对开发者而言，这省去了多模态智能体流水线通常需要的转录和字幕步骤。
TL;DR
- 规模： 总计 30B，激活参数 3B（MoE）；在 Workers AI 上支持 64,000 token 上下文
- 运行于： Workers AI 上为
@cf/cloudflare/clef-omni；自托管已在单张 H200 上测试，bfloat16 下约需 64 GB GPU 显存 - 性能： 在路由和意图任务上接近 Clef，在大多数推理和工作流评测中落后于它
- 最佳： CLINC150+OOS 上宏平均 F1 为 97.7，在 4 个 Clef 和 Jev 模型中排名第一
- 最差： POP909-CL 上准确率为 2.6，GPQA Diamond 上为 47.4，而 Jev 为 78.3
- Bottom line:
- 最佳：一次调用即可跨 4 种模态做出决策。
- 最差：在困难推理上准确率弱于以文本为核心的 Clef。
什么是决策模型？
决策模型返回带概率的类型化答案，而不是生成的文本。你发送一个 state 和一组问题模式。模型会为每个允许的选项返回一个概率。Clef 支持 3 种问题类型：noul（真或假）、choice 和 score。该格式遵循 TypeSafe AI 的 Jev 和 SystemOne API。
Clef-omni 如何工作？
Clef-omni 基于 Qwen3-Omni-30B-A3B-Instruct 进行后训练。Cloudflare 保留理解主干，并去掉文本转语音输出路径。模型对完整载荷执行单次预填充。视频帧和音频被同步为 1 个序列进行联合处理。
随后一个小型联合模式头对选项打分。每个有效选项首先从输入中收集证据。字段向量再在完整上下文上进行交叉注意力计算，以计算置信度分数。Cloudflare 冻结了 Qwen3 主干并训练 LoRA 适配器。训练将标签平滑交叉熵与 Brier 分数校准相结合。
根据开发者文档，Workers AI 上支持的输入：
- 图像：最多 4 张，PNG、JPEG 或 WebP，每张 64 至 1,024 token
- 音频：最多 4 段，WAV 或 MP3，每段 300 秒，约每分钟 780 token
- 视频：最多 2 段，MP4 或 WebM，每段 60 秒，以每秒 2 帧采样
- 问题：每次请求 1 至 64 个
Cloudflare 报告文本决策中位数约为 130 毫秒，图像约为 150 毫秒。一段带声音的 21 秒视频约 1.5 秒完成打分。
Clef-omni 在基准测试上表现如何？
Cloudflare 在其 Decision Index 运行中将 Clef-omni 与 Clef、Clef-flash 和 Jev 进行了比较。Clef-omni 在意图分类上领先：BANKING77 上宏平均 F1 为 94.8，CLINC150+OOS 上为 97.7。它还在 Amazon ESCI 上以 57.8 位居第一。
在其他方面则落后。家电类目精确准确率为 69.3，而 Clef-flash 为 97.73。When2Call 准确率为 63.3，而 Jev 为 80.97。在 TypeSafe 的工作流评测中，Clef-omni 在所有 5 项报告指标上均低于 Clef。
Clef-omni 与 Clef、Clef-flash、Jev 对比
| 特性 | Clef-omni | Clef | Clef-flash | Jev |
|---|---|---|---|---|
| 开发者 | Cloudflare | Cloudflare | Cloudflare | TypeSafe AI |
| 参数量 | 总计 30B，激活 3B（MoE） | 27B 稠密 | 9B 稠密 | 未披露 |
| 基础模型 | Qwen3-Omni-30B-A3B-Instruct | Qwen3.8-27B | Qwen3.5-9B | 未披露 |
| 输入 | 文本、图像、音频、视频 | 文本、图像、视频帧 | 文本、图像、视频帧 | 文本（据 Cloudflare） |
| 托管上下文 | 64,000 tokens | 64k | 24k（自托管 256k） | TypeSafe 未披露（Cloudflare 称 32k） |
| 每百万 tokens 输入价格 | $0.15 | $0.24 | $0.038 | $0.042 |
| 许可证 | Apache-2.0 | Apache-2.0 | Apache-2.0 | 仅 API，早期访问 |
| BANKING77（macro-F1） | 94.8 | 94.20 | 90.93 | 79.74 |
| CLINC150+OOS（macro-F1） | 97.7 | 97.43 | 66.77 | 89.27 |
| When2Call（准确率） | 63.3 | 72.37 | 65.58 | 80.97 |
| BRIGHT（nDCG@10） | 42.0 | 45.91 | 39.26 | 47.52 |
| 发票处理，主要操作 | 82.0 | 86.2 | 73.3 | 83.1 |
基准分数来自 Cloudflare 的公告，未经独立验证。
Clef 快多少？
Cloudflare 将托管的 Clef 迁移到 SGLang 并调优了其服务栈。未发布新权重。在约 800 tokens 时，中位延迟从 262 ms 降至 152 ms，提升 1.7 倍。在约 3,400 tokens 时，从 616 ms 降至 305 ms，提升 2.0 倍。在约 16,000 tokens 时，从 2,721 ms 降至 1,635 ms。Clef 支持已登陆 SGLang 0.5.22。
关键要点
- Clef-omni 在 1 次决策调用中对文本、图像、音频和视频进行评分。
- 它是基于 Qwen3-Omni 的 30B-A3B MoE，Apache-2.0 许可，每百万 tokens 0.15 美元。
- Clef-flash 现在价格为 0.038 美元，低于 Jev 的 0.042 美元，托管上下文为 24k。
- 迁移到 SGLang 后，托管 Clef 的中位速度提升 1.7 倍至 2.0 倍。
- Clef-omni 在意图任务上胜出，但在推理和工作流评测上落后于 Clef。
查看 Cloudflare 公告、模型权重 和 Workers AI 文档。所有功劳归于本项目的研究者。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ ML SubReddit 并订阅 我们的 Newsletter。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。
文章 Meet Cloudflare Clef-omni: A 30B-A3B Multimodal Decision Model for Audio, Video, Image and Text 首发于 MarkTechPost。
来源：MarkTechPost · marktechpost.com
来源：RadarAI · aihot.news