Inworld 推出面向消费级 AI 应用的 Inworld Inference 推理 API
Inworld 发布 LLM 推理 API Inworld Inference，面向消费级 AI 应用，支持 Gemma 4、GLM、DeepSeek、MiMo 等开源模型。官方称在 Gemma 4 26B 上首 token 中位延迟 0.17 秒，比 OpenRouter 其他服务商中位数快 3.6 倍，95 分位快 7.8 倍。开发者还可设置首个模型失败或超时后自动切换备用模型。
🚨 AI 新闻 | TestingCatalog· @testingcatalog · X·2026-10-15 04:37· 27 分钟前AI 评分56
AI 导读
Inworld 推出面向消费级 AI 应用的 LLM 推理 API Inworld Inference，支持 Gemma 4、GLM、DeepSeek、MiMo 等开源模型。官方称在 Gemma 4 26B 上首 token 中位延迟 0.17 秒，比 OpenRouter 其他服务商中位数快 3.6 倍，95 分位快 7.8 倍，并支持首个模型失败或超时后自动切换备用模型。
正文
Inworld 刚刚推出 Inworld Inference，这是一个面向消费级 AI 应用构建的 LLM 推理 API，提供包括 Gemma 4、GLM、DeepSeek 和 MiMo 在内的开源模型。
@inworld 优化了每个模型的运行方式，为辅导、陪伴、游戏及其他消费级应用提供更快的响应。
在 Gemma 4 26B 上，首 token 中位延迟为 0.17 秒，而 OpenRouter 上其他服务商的中位数为 0.61 秒——快 3.6 倍。
在第 95 百分位，首 token 延迟为 0.31 秒，而这些服务商的中位数为 2.42 秒——快 7.8 倍。
开发者还可以设置请求，在首个模型失败或耗时过长时自动切换到备用模型。
Inworld 是你新晋最爱的推理服务商。 我们每月已处理数十万亿 token，因为我们以不同方式理解消费级 AI，并为此从零构建了我们的推理。 今天，顶级消费级 AI 应用所运行的推理正在对外开放。在 X 查看被引用的帖子
来源：🚨 AI 新闻 | TestingCatalog · x.com
来源：RadarAI · aihot.news