arXiv cs.AI· Jannatun Noor, Athar Noor Mohammad Rafee, Md. Sadman Haque, Sreezon Das Gupta, Atiar Osman, Md. Abu Obaida Zishan·· 12 小时前AI 评分31
大语言模型云端部署综述：架构、编排与推理的系统性回顾
LLMs in Cloud: A Discussion on Architecture, Orchestration, and Inference
AI 导读
一项基于 PRISMA 2020 框架的系统性综述统一了硬件虚拟化、集群调度与运行时推理优化三个层面，覆盖 2024 至 2026 年的关键进展。
正文 · AI 翻译
摘要：基础大语言模型（LLM）在云数据中心的广泛部署，标志着从无状态深度学习向分布式、内存密集型生成式工作负载的根本性范式转变。然而，在严格的服务水平目标（SLO）下服务大规模基础模型，会暴露出关键的物理与系统瓶颈。这些挑战包括持续存在的高带宽内存（HBM）墙、计算受限的预填充与内存带宽受限的解码之间的运行不对称、键值（KV）缓存的爆炸式增长、高昂的无服务器冷启动开销，以及硬件可靠性漏洞。现有文献综述仍按层割裂，将底层加速器虚拟化与集群编排和运行时推理解耦，同时在很大程度上忽视了 2024 至 2026 年的标志性进展。为弥补这些不足，本研究依据系统综述与荟萃分析首选报告项目（PRISMA）2020 框架，开展了一项全面的跨层系统综述。我们构建了一个统一的整体分类体系，将硬件虚拟化、集群级调度与运行时推理优化整合起来，包括迭代级连续批处理、预填充-解码分离以及分层 KV 缓存卸载。此外，我们评估了具备弹性的云原生服务架构，考察了缩容至零的无服务器范式、针对静默数据损坏的容错检查点机制，以及用于多租户隔离的硬件强制可信执行环境（TEE）。最后，我们形式化了支配吞吐量、延迟、货币成本与机密性的多维帕累托权衡，并勾勒出一份前瞻性研究路线图，涵盖 Compute Express Link（CXL）内存池化、内存计算和自主多智能体控制平面，以指导未来的云 LLM 基础设施。
| 学科： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.33475 [cs.DC] |
| （或本版本的 arXiv:2610.33475v1 [cs.DC]） | |
| https://doi.org/10.48550/arXiv.2610.33475 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Md Abu Obaida Zishan [查看电子邮件]
[v1]
2026 年 10 月 24 日星期六 05:53:48 UTC（586 KB）
来源：arXiv cs.AI · arxiv.org