arXiv cs.AI· Mithun Sasidharan, Srinivasan Manoharan, Rupesh Thakur, Abhinav TK, Ashwin Hegde, Anand Gautam·· 14 小时前AI 评分44
PayPal 如何在 Envoy 上构建策略驱动的多厂商 LLM 网关 Cosmos
Governing Enterprise AI Traffic at Scale: Design and Operation of a Policy-Driven, Multi-Vendor LLM Gateway on Envoy
AI 导读
PayPal 构建了基于 Envoy 的 Cosmos LLM Gateway，作为企业 LLM 流量的统一治理入口，通过外部处理服务与 Rust WebAssembly 过滤器分离控制决策和格式转换，使流式响应默认不等待外部调用。
正文 · AI 翻译
摘要：大型组织会同时使用来自多家供应商的大语言模型（LLM），每家供应商都有自己的 API 方言、凭证模型、流式协议和定价。若直接集成，这种异构性会导致凭证泛滥、格式锁定、支出无上限以及治理不一致。我们介绍 Cosmos LLM Gateway 的设计与生产运行情况，它是 PayPal 企业 LLM 流量的受治理入口。该网关基于 Envoy 构建，按延迟特征拆分工作：I/O 密集的控制决策（身份验证、凭证代理、策略与预算评估）在进程外的外部处理服务中运行，而线格式转换、token 计量和提示缓存塑形则作为 Rust WebAssembly 过滤器在代理内运行，因此默认情况下，流式响应体分块从不需要等待进程外调用。模型、供应商和价格在很大程度上是经过验证的数据而非代码。治理是由 Open Policy Agent 评估的声明式策略，并通过控制平面进行管理，支持按角色限定的编写、审批、试点、影子模式发布、使用通知和版本化策略包。对于有需要的用例，数据丢失防护层可以在敏感内容到达供应商之前对其进行阻止、脱敏或假名化。支出范围是各模型使用计数器的视图，因此新预算无需迁移即可适用于其窗口内已记录的支出。截至 2026 年 9 月，该网关服务于超过 12,000 名开发者和数百个业务用例，每天处理约 2000 亿个 token，覆盖 100 多个模型，对业务可用性达 99.999%。在针对合成上游的核心请求路径基准测试中，它在两个 4-vCPU 实例上以每秒超过 2,200 个请求的速率增加了 4 毫秒的中位数开销和 11 毫秒的 p99 开销。我们报告了架构、策略模型、评估以及经验教训。
| 评论： | 17 页，6 幅图，6 张表。行业案例研究 |
| 主题： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI）；软件工程（cs.SE） |
| ACM 分类： | C.2.4；D.2.11；C.4；K.6.5；I.2.m |
| 引用为： | arXiv:2610.35509 [cs.DC] |
| （或 arXiv:2610.35509v1 [cs.DC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35509 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mithun Sasidharan [查看电子邮件]
[v1]
2026 年 10 月 26 日星期一 14:33:48 UTC（35 KB）
来源：arXiv cs.AI · arxiv.org