arXiv cs.AI· Konstantinos Papaioannou, Thaleia Dimitra Doudali·· 13 小时前AI 评分34
RPS-Serve：面向多模态大语言模型推理的模态感知调度框架
Rocks, Pebbles and Sand: Modality-aware Scheduling for Multimodal Large Language Model Inference
AI 导读
研究者提出模态感知调度框架 RPS-Serve，将视频、图像、文本分别视为岩石、鹅卵石和沙子，让轻量文本请求快速穿过重负载请求。该框架通过估算每个请求的 GPU 准入成本并用轻量聚类分类，再结合带 aging 的优先级调度，在 SOTA MLLM 上相比基于分离（disaggregation）的多模态系统将 GPU 利用率提升 65%、TTFT 最多降低 9.3 倍。
正文 · AI 翻译
摘要：多模态大语言模型（MLLMs）为 ChatGPT、Gemini 和 Copilot 等平台提供支持，实现跨文本、图像和视频的丰富交互。与纯文本工作负载不同，多模态请求本质上是异构的，在延迟和内存占用上相差数个数量级。现有的 LLM 服务系统是为同构文本工作负载设计的，在这种异构性下难以应对：大型图像和视频请求垄断 GPU 资源，造成严重的队头阻塞，并降低轻量级、延迟敏感型文本查询的响应能力。近期的多模态服务系统通过解耦来缓解这种干扰，将编码和推理阶段隔离在不同的 GPU 上。虽然在大规模场景下有效，但此类设计在更实际的中等规模部署中会导致严重的 GPU 利用率不足。为此，我们构建了 RPS-Serve，一个模态感知的调度框架，它利用多模态工作负载中的极端异构性，并引入一个简单的抽象：视频像岩石，图像像鹅卵石，文本像沙子。然后，它让沙子快速流过鹅卵石和岩石，在最大化 GPU 利用率的同时，确保轻量级请求的快速响应和较重请求的可控执行。为实现这一点，RPS-Serve 估计每个请求的 GPU 准入成本，使用轻量级聚类将请求分类为岩石、鹅卵石和沙子，并应用带老化机制的优先级调度来平衡各模态间的性能。在多种最先进 MLLMs 上的评估表明，与基于解耦的多模态系统相比，RPS-Serve 将 GPU 利用率提高了 65%，并将 TTFT 平均降低最多 9.3 倍。
| 学科： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.26498 [cs.DC] |
| （或本版本使用 arXiv:2603.26498v3 [cs.DC]） | |
| https://doi.org/10.48550/arXiv.2603.26498 由 DataCite 颁发的 arXiv DOI |
|
| 相关 DOI： | https://doi.org/10.1145/3828523.3857088
链接到相关资源的 DOI |
提交历史
来自：Thaleia Dimitra Doudali [查看邮箱]
[v1]
2026年3月27日星期五 15:00:53 UTC（578 KB）
[v2]
2026年5月5日星期二 13:30:35 UTC（557 KB）
[v3]
2026年10月29日星期四 15:25:40 UTC（635 KB）
来源：arXiv cs.AI · arxiv.org