Liquid AI 发布 RIPL 实时推理引擎，LFM 端到端延迟低于 50 ms
Liquid AI 发布实时推理管线 RIPL，可在实时请求路径中服务 230M 至 2.6B 参数的 LFM2.5 模型，端到端生成响应低于 50 ms。按其自测数据，RIPL 的 p95 延迟比 vLLM 上的 Qwen3.5 低 5.6 至 28.4 倍，其中 LFM2.5-1.2B 为 155.8 ms 对 4,431 ms。
MarkTechPost· Asif Razzaq·2026-10-23 01:33· 2 小时前AI 评分48
Liquid AI 发布 RIPL，一款面向亚 50 ms LFM 的实时推理引擎
AI 导读
Liquid AI 发布实时推理管线 RIPL，可在实时请求路径中服务 230M 至 2.6B 参数的 LFM2.5 模型，端到端生成响应低于 50 ms。按其自测数据，RIPL 的 p95 延迟比 vLLM 上的 Qwen3.5 低 5.6 至 28.4 倍，其中 LFM2.5-1.2B 为 155.8 ms 对 4,431 ms。
正文 · 原文
Liquid AI 刚刚发布了 Liquid RIPL，即 Real-time Inference Pipeline（实时推理管线）的缩写。RIPL 是一款低延迟引擎，可在实时请求路径中服务 Liquid Foundation Models（LFM）。它能在 50 ms 内端到端返回完整的生成响应。它还声称，在流量持续以峰值负载到达时，延迟仍能保持。对开发者而言，信息很简单：用生成式模型替换梯度提升树，同时守住延迟预算。
TL;DR
- 引擎：服务 230M 至 2.6B 参数的 LFM2.5 模型
- 运行于：在 NVIDIA H100、H200、B200 和 RTX PRO 6000 GPU 上的企业部署。基准测试使用单块 B200。
- 性能：按 Liquid 自测，p95 延迟比 vLLM 上的 Qwen3.5 低 5.6 至 28.4 倍。
- 最佳：LFM2.5-1.2B 的 p95 为 155.8 ms，Qwen3.5-0.8B 为 4,431 ms，差距 28.4 倍（输入 256，输出 128）。
- 最差：LFM2.5-2.6B 仅提升 5.6 倍（449.1 ms 对 2,499 ms）。在较长请求上无法达到亚 50 ms。
Liquid RIPL 解决了什么问题？
大多数服务栈面向大批量和长时智能体任务。在那里，每个请求几秒钟是可以接受的。搜索排序、欺诈检测和支付授权需要在毫秒级给出答案。Liquid AI 认为，团队在这些路径上默认使用经典模型，是因为 LLM 服务太慢。RIPL 的构建目标就是消除这一取舍。
RIPL 如何工作？
Liquid AI 将 RIPL 描述为优化从请求到达到完成响应的全路径。在若干工作负载中，Liquid AI 将同一模型 LFM2.5-350M 分别绘制在 vLLM 和 RIPL 上。每种情况下，RIPL 的 p95 线都远低于 vLLM 线。这将部分增益归因于引擎，而不仅是模型架构。
LFM2.5 模型本身是混合架构。LFM2.5-1.2B-Instruct 有 16 层：10 个双门控卷积块和 6 个 GQA 块。LFM2.5-2.6B 有 30 层：22 个卷积块和 8 个 GQA 块。
RIPL 基准测试：相比 vLLM 有多快？
Liquid 在单块 B200 上，以开环泊松到达测量 p95 端到端延迟。LFM 运行在 RIPL 上。基线模型（包括 MiniCPM5 和 Granite 4.2）运行在 vLLM 上。
| 工作负载 | 负载 | RIPL 上的 LFM2.5（p95） | vLLM 上的 Qwen3.5（p95） | 差距 |
|---|---|---|---|---|
| 1B 级，32 输入 → 32 输出 | 1,000 req/s | 34.6 ms（1.2B） | 498 ms（0.8B） | 14.4 倍 |
| 1B 级，256 输入 → 128 输出 | 400 req/s | 155.8 ms（1.2B） | 4,431 ms（0.8B） | 28.4 倍 |
| 2B 级，32 输入 → 32 输出 | 1,000 req/s | 76.4 ms（2.6B） | 586.8 ms（2B） | 7.7 倍 |
| 2B 级，256 输入 → 128 输出 | 300 req/s | 449.1 ms（2.6B） | 2,499 ms（2B） | 5.6 倍 |
来源：Liquid AI 博客，图 2。自报数据。
Liquid AI 还将 6 个实时工作负载与固定预算进行了对照：
- 广告技术查询改写：32 输入，32 输出，50 ms 预算，LFM2.5-350M。
- 搜索意图分类：128 输入，1 输出，20 ms 预算。
- 搜索重排序：1k 输入，1 输出，30 ms 预算。
- 支付风险评分：512 输入，16 输出，50 ms 预算，LFM2.5-1.2B。
- 信贷决策：8k 输入，64 输出，150 ms 预算。
- 图片替代文本：输入 512×512 图像和 64 个 token，输出 16 个 token，100 ms 预算，LFM2.5-VL-450M。
竞品对比
| 特性 | RIPL 上的 LFM2.5-1.2B | vLLM 上的 Qwen3.5-0.8B | RIPL 上的 LFM2.5-2.6B | vLLM 上的 Qwen3.5-2B |
|---|---|---|---|---|
| 参数 | 1.17B | 0.8B | 2.69B | 2B |
| 上下文 | 32,768 | 262,144 | 131,072 | 262,144 |
| 许可证（权重） | LFM Open License v1.0 | Apache 2.0 | LFM Open License v1.0 | Apache 2.0 |
| 模态 | 文本 | 文本、图像、视频 | 文本 | 文本、图像、视频 |
| 默认模式 | Instruct | Non-thinking | 始终推理 | Non-thinking |
| 服务引擎 | RIPL（企业版） | vLLM（开源） | RIPL（企业版） | vLLM（开源） |
| p95，32→32 | 34.6 ms | 498 ms | 76.4 ms | 586.8 ms |
| p95，256→128 | 155.8 ms | 4,431 ms | 449.1 ms | 2,499 ms |
RIPL 是否已用于生产环境？
是的，据 Liquid AI 称。Shopify 正在对延迟敏感的商务工作负载中部署 LFM。在搜索增强中，LFM 在生产流量上的推理时间低于 20 ms。根据 Liquid AI 的博客，他们使用的参数比替代方案少约 50%，推理速度提升 2 到 10 倍。
关键要点
- RIPL 是 Liquid AI 用于实时请求路径中 LLM 的引擎。
- Liquid 声称其 p95 延迟比 vLLM 上的 Qwen3.5 低 5.6 到 28.4 倍。
- 同模型测试（LFM2.5-350M）显示 RIPL 本身优于 vLLM。
- Shopify 在生产搜索中以低于 20 ms 的速度运行 LFM。
- 仅限企业版、闭源，且所有数据均为自报。
查看 RIPL 公告，试用 延迟计算器，并查看 LFM2.5 模型卡。所有功劳归于本项目的研究人员。另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ ML SubReddit 并订阅 我们的新闻通讯。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们了。
需要与我们合作推广您的 GitHub 仓库、Hugging Face 页面、产品发布、网络研讨会等？联系我们
文章 Liquid AI 推出 RIPL，一款面向亚 50 ms LFM 的实时推理引擎 首次发布于 MarkTechPost。
来源：MarkTechPost · marktechpost.com
来源：RadarAI · aihot.news