RadarAI· X:Rohan Paul (@rohanpaul_ai)·· 5 天前AI 评分40
RouterPlus:聚合多团队需求换取推理批量定价,已上线
RouterPlus:聚合需求换取推理批量定价
AI 导读
RouterPlus 把多个团队的需求聚合成一个大单与推理服务商谈价,各团队按自身流量份额享受该费率,让小团队无需成为大买家也能拿到批量定价。它还会用真实用量测试模型,挑出够用且成本最低的那个,避免每个任务都付费调用顶级模型。该产品来自 YC F26,已上线。
正文 · AI 翻译
Rohan Paul· @rohanpaul_ai · X·2026-10-14 01:38· 1 小时前AI 评分41
AI 导读
RouterPlus 把多个团队的需求聚合成一个大单与推理服务商谈价,各团队按自身流量份额享受该费率,让小团队无需成为大买家也能拿到批量定价。它还会用你的真实用量测试模型,挑出够用且成本最低的那个,避免每个任务都付费调用顶级模型。该产品来自 YC F26,已上线。
正文
推理定价存在规模惩罚。最优的每 token 费率只给能承诺最大用量的一方。
RouterPlus 将许多团队的需求聚合成与供应商的一笔大单,每个团队按其流量份额支付该费率。
大买家多年来一直通过云承诺做到这一点。应用到 token 上,我猜它最适合流行的开源模型,因为许多团队已经希望在同类型硬件上运行相同的权重。
对小团队来说,这是一条无需成为大买家就能获得批量定价的途径。
他们还会用你的真实用量测试模型,并挑选出在最低成本下足够好的那个。许多团队在每个任务上都为顶级模型付费,而更便宜的模型本可以完成大部分工作。
把推理做对不该是难事。 @useRouterPlus(YC F26)已上线:为你的工作负载匹配正确的模型和供应商,价格最优。 查看:https://routerplus.com/capacity在 X 查看被引用的帖子
来源:Rohan Paul · x.com
来源:RadarAI · aihot.news