arXiv cs.AI· Juan Parra-Ullauri, Anthony Chiu, Hari Madhukumar, Zhaozhou Wu, Anderson Bravalheri, Alex Healing, Andy Corston-Petrie, Dimitra Simeonidou, Nektaria Efthymiou·· 11 小时前AI 评分31
InferSlice：面向电信广域网的 SLO 驱动 LLM 推理参考架构
InferSlice: A Reference Architecture for SLO-driven LLM Inference over a Telco Wide-Area Network
AI 导读
BT 联合布里斯托大学与 NVIDIA 提出 InferSlice，一个在电信基础设施上实现 SLO 驱动 LLM 推理的参考架构，并在英国 JOINER 全国广域网完成验证。结果显示分层服务可形成不同的延迟-吞吐区间，权重流式加载能缩短扩容时间；复制对放置不敏感但受内存限制，流水线并行可容忍近距与中距跨站点跳转，而张量并行与预填充/解码分离在超出单一子网跳后失效。
正文 · AI 翻译
摘要：LLM 推理正日益作为企业和交互式应用的核心服务进行部署，但主权、合规、延迟和资源本地化要求可能限制集中式云部署的适用性。电信运营商提供地理分布的计算和网络基础设施来应对这些限制。然而，现有的 LLM 服务框架是为紧耦合的数据中心设计的，对协调地理分布和异构资源的支持有限。我们提出 InferSlice，一种在电信基础设施上实现服务级别目标（SLO）驱动的 LLM 推理的参考架构，集成了网络切片、GPU 分区、弹性服务和可观测性。InferSlice 由 BT 牵头，与布里斯托大学和 NVIDIA 合作，并在 JOINER 英国国家级广域网（WAN）上实现，评估了跨层级的服务差异化、弹性横向扩展、客户端-边缘带宽作为瓶颈，以及张量并行、流水线并行、数据并行和预填充/解码分离在 WAN 上的覆盖范围。我们的结果表明，在通用电信网络上，层级产生不同的延迟-吞吐量区间，权重流式传输缩短了横向扩展时间。复制对放置不敏感但受内存限制；流水线并行可容忍近距和中距跨站点跳数，而张量并行和分离在超过单个子网跳数时失败。我们分享了在电信网络上运行 SLO 驱动推理的实践见解、经验教训和开放问题，并希望鼓励对分布式和异构 LLM 推理系统的进一步研究。
| 主题： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.32638 [cs.DC] |
| （或 arXiv:2610.32638v1 [cs.DC] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.32638 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Juan Marcelo Parra [查看电子邮件]
[v1]
2026年10月23日星期五 13:51:02 UTC（8,589 KB）
来源：arXiv cs.AI · arxiv.org