You.com 发布 Inference Router：12 个开源权重模型配 99.9% 在线率 SLA

MarkTechPost· Asif Razzaq·2026-10-23 13:28· 2 小时前AI 评分57

You.com 推出 Inference Router：12 个开放权重模型，99.9% 在线率 SLA

AI 导读

You.com 发布 Inference Router，一个 OpenAI 兼容的托管 API，将请求路由到 12 个在线开源权重模型，提供至少 99.9% 在线率 SLA、零数据保留（ZDR）、100% 美国托管和按 token 计费的 0% 平台费。

正文 · 原文

You.com 已推出 Inference Router，这是一个用于在生产环境中运行开放权重模型的托管 API。You.com Inference Router 是一个 OpenAI 兼容服务，可将请求路由到 12 个在线模型。它捆绑了至少 99.9% 在线率 SLA 和零数据保留（ZDR）。它还增加了 100% 美国托管和服务器端网页搜索。它采用按需付费，无平台费。

TL;DR

规模：12 个在线模型，从 GPT-OSS 120B（125K 上下文）到 Kimi K3 和 Qwen3.8 Max（1M 上下文）。Kimi K3 是一个 2.8T 参数模型；Qwen3.8 Max 是一个 2.4T MoE。
运行于：完全托管。请求首先到达 You.com Inference Direct，然后故障转移到美国托管合作伙伴。无需管理 GPU。
性能：在 You.com 的 LiveNewsBench 运行中，开放权重模型加上 You.com 搜索以更低成本匹配了前沿模型。
最佳：GLM-5.3 配合 You.com 搜索得分 86.53%，每题 $0.0485，而 Claude Sonnet 5.5 为 $0.0920（自报）。
最差：每 token 价格接近市场水平。Kimi K3 为 $2.85/$14.25，仅比 Together AI 的 $3.00/$15.00 低 5%。

什么是 You.com Inference Router？

它是一个面向多种开放权重模型的 API。端点为 https://api.you.com，具有OpenAI 兼容和 Anthropic 兼容路由。现有 SDK 代码只需更改基础 URL 和密钥即可迁移。

You.com 团队将问题归结为停滞的迁移。开发团队在聚合器上测试开放权重模型，然后遇到安全审查。审查者会询问 ZDR、美国托管、访问控制和 DPA。专用提供商能满足这些标准，但通常需要大量承诺。Inference Router 瞄准这一缺口。

路由和故障转移如何工作？

每个请求首先发往 You.com Inference Direct，即公司自己的推理容量。如果它宕机或满载，请求会故障转移到经过审查的合作伙伴。官方帖子列出了 Parasail、Wafer、Alibaba Cloud、Meta 和 Inception，Prime Intellect 即将加入。所有合作伙伴均为 100% 美国托管，且必须遵守 ZDR 规则。

故障转移不会改变账单。每个模型有 1 个公布的每 token 价格。You.com 还提供按 API 密钥的支出上限，以及按模型、成本和提供商查看每日使用情况。账户运行在 SOC 2 合规基础设施上，可应要求提供 DPA。

零数据保留涵盖哪些内容？

ZDR 政策规定提示和输出在内存中处理且不存储。它涵盖模型调用和网页搜索请求。You.com 仅保留运营元数据，例如 token 计数、时间戳和账户 ID。提示哈希、去标识化文本和磁盘支持的提示缓存被明确排除。

哪些模型可用，价格如何？

模型页面列出了 12 个在线模型，均为美国托管。价格为每 1M token（输入/输出）：

Kimi K3（Moonshot AI）：$2.85 / $14.25，1M 上下文
Qwen3.8 Max（Alibaba）：$1.85 / $5.55，1M 上下文
GLM 5.3（Z.ai）：$1.35 / $4.25，1M 上下文
DeepSeek V4 Pro：$1.65 / $3.65，1M 上下文
DeepSeek V4.1 Flash：$0.30 / $1.20，1M 上下文
Mercury 3（Inception）：$0.10 / $0.35，1M 上下文
GPT-OSS 120B（OpenAI）：$0.097 / $0.73，125K 上下文

Muse Wonder、Muse Spark 1.3、GLM 5.3 Flash、Qwen3.8 Flash 和 MiniMax M3 也在名单之列。

内置网页搜索是如何工作的？

开发者声明一个 web_search 或 web_extract 工具，路由器就会为模型执行搜索。文档显示每次搜索最多返回 20 条结果，默认进行 30 轮搜索。响应会返回一个带引用的 web_results 对象。

搜索与模型运行在同一台服务器上。You.com 表示内部测试显示延迟最多降低 15%。

基准测试结果如何？

You.com 报告了一项包含 1,329 个问题的 LiveNewsBench 运行结果，使用的是 Braintrust 的开源搜索评测。这些数字为自行报告：

配置	准确率	每题平均成本
GPT-6.1 Sol，内置搜索	86.53%	$0.0591
GLM-5.3 + You.com 搜索	86.53%	$0.0485
Claude Sonnet 5.5，内置搜索	86.38%	$0.0920
DeepSeek V4.1 Flash + You.com 搜索	84.12%	$0.0215

DeepSeek V4.1 Flash 的每题成本比 Claude Sonnet 5.5 低约 77%。它落后 2.26 个百分点。

Braintrust 自己在 8 月的研究使用了较旧的模型。在该研究中，使用 You.com 搜索的 DeepSeek V4 Flash 达到 80.66%，每题成本 $0.0163。使用内置搜索的 Claude Sonnet 5 得分为 78.78%，每题成本 $0.1148。

You.com 还引用了与 NVIDIA 和 CoreWeave 的合作。在训练循环中结合 You.com 搜索对 Nemotron 3.5 Lightning 进行后训练，将 BrowseComp 从 36.97% 提升至 45.45%。工具调用减少了 30%。

它与 OpenRouter、Together AI 和 Fireworks AI 相比如何？

指标	You.com Inference Router	OpenRouter	Together AI（无服务器）	Fireworks AI（无服务器）
模型	优先使用自有容量，合作伙伴故障转移	跨第三方提供商的聚合器	自有推理云	自有推理云
正常运行时间 SLA	按量付费至少 99.9%，含补偿额度	未披露；自动回退	尽力而为；仅预置吞吐量（最少 1 个月）提供 99% 请求 SLA	未披露
零数据保留	默认，模型和网页搜索	默认不记录提示；提供商政策各异	默认关闭；管理员启用	开源模型默认开启
美国托管	100%，包括故障转移	因提供商而异	无服务器未披露	仅美国区域，需加价
平台费	0%	购买额度收取 5.5%（最低 $0.80）	未列出	未列出
Kimi K3（每 1M 输入 / 输出）	$2.85 / $14.25	$0.238 / $16 至 $4.50 / $22.50，因提供商而异	$3.00 / $15.00	$3.00 / $15.00；仅美国 $4.50 / $22.50
DeepSeek V4.1 Flash（每 1M 输入 / 输出）	$0.30 / $1.20	未检查	$0.30 / $1.20	$0.30 / $1.20；仅美国 $0.45 / $1.80
服务器端网页搜索	是，与模型同一服务器	服务器工具，第三方搜索	未披露	第三方搜索提供商

最明显的价格优势是对比 Fireworks 的仅美国区域。在那里，You.com 的 Kimi K3 输入价格便宜约 37%。

关键要点

12 个开放权重模型，统一通过 1 个 OpenAI 兼容基础 URL 访问。
按量付费至少 99.9% 正常运行时间 SLA，含补偿额度。
ZDR 覆盖模型调用和网页搜索。
平台费 0%，而 OpenRouter 为 5.5%。
Token 价格接近市场水平；价值在于各项保障。

查看发布文章，浏览模型列表并查阅开发者文档。所有功劳归于本项目的研究人员。另外，欢迎在Twitter上关注我们，别忘了加入我们的150k+ML SubReddit并订阅我们的新闻简报。等等！你在用 Telegram 吗？现在你也可以在 Telegram 上加入我们了。

需要与我们合作推广您的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等？联系我们

文章You.com 推出 Inference Router：12 个开放权重模型，提供 99.9% 正常运行时间 SLA 首次发布于 MarkTechPost。

来源：MarkTechPost · marktechpost.com