跳到正文
Comfy Blog· Matt Miller·· 24 天前精选AI 评分62

Comfy 发布 Comfy Router:用一个 API 调用前沿图像、视频、3D 与音频模型

Introducing Comfy Router: One API for Frontier Media Models

AI 导读

Comfy 在 Comfy Developer Platform 上线 Comfy Router,开发者只需集成一次即可调用前沿图像、视频、3D 和音频模型,首日接入 Seedance 2.5、MiniMax H3、Nano Banana Pro、GPT Image 2、Kling 和 Black Forest Labs。

推荐理由

原文给出统一调用多家前沿媒体模型的接口与按任务切换供应商的方式,可据此判断多模型工作流的接入成本。

正文 · AI 翻译

今天 Comfy Router 已在 Comfy 开发者平台上线。

一次集成前沿的图像、视频、3D 和音频模型。然后为每项任务选择提供商,以获得更好的可用性和更优的价格。

首日即可访问 Seedance 2.5、MiniMax H3、Nano Banana Pro、GPT Image 2、Kling 和 Black Forest Labs,后续还会有更多。

这些正是 300 万+ ComfyUI 用户已经在使用的模型,现在统一在一个 API 之后。

Router 运行在开发者平台上。

Router 运行在 Comfy 开发者平台上,为你提供一个今天即可访问前沿模型的统一入口。很快,你还能通过 Comfy API 部署和扩展自己的 ComfyUI 工作流。

Router 是你调用自己未运行的前沿模型的方式。你的 API 密钥和运行历史集中在一处,同时覆盖两者,因此你部署的工作流和你调用的模型都落在同一个账户上。

获取 API 密钥

一次集成。随用随加模型。

Comfy 对许多最新前沿模型拥有 Day 0 访问权限。Router 将这些访问统一在一个 API 之后,因此你无需添加另一个 SDK、密钥或任务生命周期,就能用新发布的模型开始构建。

通过 Router 一次构建,下一个模型只需一行。

from comfy_sdk import Comfy

client = Comfy(api_key="comfyui-...")

result = client.models.run(
    "openai/gpt-image-2",
    arguments={"prompt": "aerial view of a neon coral reef at dusk"},
    provider="fal",
)

更改模型字符串即可调用不同的模型。更改提供商即可在其他地方运行它。这两个字符串之外的一切保持不变。

选择提供商以获得更好的可用性或价格。

同一个模型往往在多个提供商上运行,而在你需要它们的那天,提供商之间并不能互换。一个被限流。一个这周更便宜。一个在你的区域更快。

提供商是一个参数。当某个模型在 fal、Runware、WaveSpeed 和 Higgsfield 中的多个上受支持时,你只需一行即可在它们之间切换。

当你指定提供商时,Comfy 不会切换路由。如果该提供商不可用,请求会在那里失败。不会有静默替换,每个任务都会报告运行它的提供商。

并非每个模型目前都在多个提供商上运行。当某个模型只有一个提供商时,你仍然能获得单一集成和共享密钥。

遇到并发限制?将任务排队。

队列会自动重试遇到 429 速率限制和其他瞬时错误的作业。使用 submit 发送作业并立即收到请求 ID;队列会持续推动该作业直到完成。如果你希望 Comfy 等待结果,subscribe 会提交作业并轮询直到完成。

排队适用于所有受支持的模型,并发限制文档涵盖了上限。当有空位时,你的作业就会运行。

你可以构建什么

Comfy Router 为之打造的三类任务。

调用单个模型的产品功能。你在 fal 上交付图像生成。流量激增,fal 对你限流。如果该模型在其他地方受支持,你只需更改一个参数就能移动同一个调用。无需新 SDK,无需新密钥,其他什么都不用重新部署。

将你自己的工作流与他人的模型混合的流水线。你的 ComfyUI 工作流运行在 Comfy API 上。一个前沿视频模型运行在 Router 上。两个调用来自同一份代码、同一个密钥,两次运行都在同一份历史记录中。替代方案是:你的工作流用 Comfy,而模型则需要单独的合同、密钥和仪表盘。

超出你限制的批处理工作。用 submit 将几百个作业排队,保存 ID,并在结果到达时取回。没有任何东西卡在重试循环中保持连接打开。

为什么不直接调用 fal、Runware、WaveSpeed 或 Higgsfield?

你可以这样做,很多团队也是这么做的。如果你只用一个提供商和一个模型,直接集成是正确选择,Router 是多余的。

当你需要不止一个时,Router 就有了价值:同一个模型在多个提供商上、一个密钥和一个任务界面,以及你选择的路线。每个提供商只路由到自身。Comfy Router 为你提供跨它们的统一界面。

如果你了解 OpenRouter,这个形态很熟悉。不同之处在于生成式媒体的需求:大资产、模型特定的控制,以及运行数分钟的任务。

定价与数据

Router 使用与 Partner Nodes、Comfy Cloud 工作流运行及其他支持的模型调用相同的 Comfy 积分。无需订阅。

每个模型的定价列在模型目录中,因此你可以在运行前看到每个模型的成本。

关于保留:输入在上传后保留 24 小时,输出在生成后保留 24 小时,然后被删除。

这意味着什么,以及接下来

ComfyUI 让人们可以控制图像或视频制作过程的每一步。每个节点可见,每个参数可调。这就是为什么超过三百万创作者使用它。

通过别人的 API 调用模型一直意味着放弃这些。你向一台你无法控制的机器发送请求,然后接受返回的结果。大多数路由层通过替你选择提供商并称之为优化,进一步扩大了这一差距。

Comfy Router 弥合了它。你选择模型。你选择提供商。你始终可以看到是哪一个运行的。

Comfy 正在为视觉 AI 构建一个开放标准。当使用标准的人能够看到它们如何运行并替换他们不喜欢的东西时,标准才能发挥作用,因此提供商选择是这里的基础,而不是我们后来添加的设置。

更多模型和更多提供商即将推出,包括:

  • Comfy 工作流。 从同一个 SDK 运行 ComfyUI 工作流,就像模型一样

  • 路由策略。 选择诸如 reliable、fast_start、fast_finish 或 lowest_cost 的策略,让 Comfy 选择提供商。这是可选的。自己选择提供商仍是默认方式,每个任务都会报告是哪个提供商运行的。

  • 按用例路由。 请求放大、背景移除或动画,Comfy 会选择能完成它的模型或工作流

Comfy Router

今天就开始在 Comfy Router 上构建

来源:Comfy Blog · blog.comfy.org