Architect 推出 Liquid Inference,为 LLM 推理引入实时竞价路由
Architect Financial Technologies 发布 Liquid Inference,一个对每次 LLM 推理请求进行实时拍卖的路由市场,满足买家规则的最低报价胜出,最高价在首 token 生成前锁定。
MarkTechPost· Michal Sutter·2026-10-08 16:53· 2 小时前AI 评分59
Architect 推出 Liquid Inference,一个面向 LLM 推理的实时拍卖
AI 导读
Architect Financial Technologies 发布 Liquid Inference,一个对每次请求进行实时拍卖的 LLM 推理市场,价格最低且满足买家规则的报价胜出,首 token 生成前锁定最高价。
正文
Architect Financial Technologies 已推出 Liquid Inference,一个为每次请求运行实时拍卖的 LLM 路由器。Liquid Inference 是 Architect 旗下的 LLM 推理市场,提供商在此竞标以服务每个提示。买家支付满足其规则的最低报价。对开发者而言,信息非常简单:换一个 base URL,保留你的代码,让提供商在价格上竞争。
什么是 Liquid Inference?
Liquid Inference 是一个交易所风格的 LLM 推理路由器。据 Architect 称,提供商会发布服务特定模型的报价。每个请求都会在所有报价该指定模型的提供商之间进行拍卖。满足买家规则的最低报价胜出。
该产品来自一家交易公司,而非 AI 实验室。Architect 运营着 AX 永续期货交易所。2026 年 5 月,它收购了一家美国指定合约市场,以挂牌 GPU 算力期货,尚待监管审查。该团队利用其构建金融交易所的经验,为推理创建了双边价格发现机制。
推理拍卖如何运作?
流程分为 4 步:
- 请求:客户端发送标准的 OpenAI 或 Anthropic API 调用。
- 规则:买家的约束条件筛选符合条件的报价。
- 拍卖:报价该模型的提供商展开竞争。符合条件的最低报价胜出。
- 回执:最高价格在生成前锁定。计费仅涵盖实际用量。
买家可以设置每任务成本上限、首 token 时间限制和最低吞吐量。他们还可以要求获批区域、零数据保留以及提供商或模型允许列表。自动模式可以为给定的工作单元选择模型。Harrison 的 LinkedIn 帖子补充了路由规则预设和完整的多模态支持。
账户持有者可以查看实时订单簿、按提供商和按模型的报价以及已清算交易。这种级别的市场数据对 LLM API 而言并不常见。
买家能得到什么?
- 与智能体编程工具即插即用兼容。帖子列出了 Claude Code、Codex、OpenCode、Cursor、Pi 和 Cline。
- 免费邮箱注册。据 Harrison 称,前 500 名用户可获得 20 美元的免费推理额度。
- 推荐计划:被推荐费用的 20% 作为免费推理额度,二级推荐再加 10%。
推理提供商能得到什么?
提供商通过 Liquid Inference 应用入驻。Harrison 表示,新提供商“几分钟内即可完成验证,而非数周”。所有提示均使用 OpenAI API 标准。REST 和 WebSocket API 用于注册模型和报价。
提供商可以根据自身成本更新报价。这让他们能够只在愿意时出售闲置 GPU 算力。付款通过 Stripe 进行,并附有每项任务的明细记录。
Liquid Inference 与 OpenRouter 和 Hugging Face 相比如何?
| 功能 | Liquid Inference | OpenRouter | Hugging Face Inference Providers |
|---|---|---|---|
| 路由模型 | 跨报价提供商的按请求拍卖 | 价格加权负载均衡,价格的平方反比 | 默认最快提供商;:cheapest 后缀可选 |
| 模型/提供商数量 | “数百个”模型;提供商未披露 | 500+ 模型,80+ 提供商 | 列出 18 个合作伙伴 |
| API 兼容性 | 兼容 OpenAI 和 Anthropic | 兼容 OpenAI | 兼容 OpenAI,仅聊天 |
| 价格上限 | 首个 token 前锁定最高价格 | max_price 参数 | 未披露 |
| 数据控制 | ZDR、区域、允许列表 | zdr、data_collection、only/ignore | 提供商偏好顺序 |
| 平台费用 | 未披露 | 5.5% 信用卡手续费,最低 $0.80 | 无加价 |
| 免费额度 | 前 500 名用户 $20 | 未披露 | 每月 $0.10 免费,$2.00 PRO |
| 公开市场数据 | 实时订单簿和已清算交易 | 未披露 | 未披露 |
关键要点
- Liquid Inference 在竞争性提供商之间对每个 LLM 请求进行拍卖。
- 最高价格在首个 token 前锁定,并提供每项任务的收据。
- 可与 OpenAI 和 Anthropic 客户端配合使用,包括 Claude Code 和 Cursor。
- 前 500 名用户获得 $20 免费额度;推荐可赚取 20% 费用。
- 费用、提供商列表和延迟数据尚未公开。
查看 技术细节。所有功劳归于该项目的 researcher。另外,欢迎在 Twitter 上关注我们,别忘了加入我们的 150k+ML SubReddit 并订阅 我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。
文章 Architect Launches Liquid Inference, a Real-Time Auction for LLM Inference 首次发表于 MarkTechPost。
来源:MarkTechPost · marktechpost.com
来源:RadarAI · aihot.news