arXiv cs.AI· Haiyuan Li, Hari Madhukumar, Shuangyi Yan, Yulei Wu, Dimitra Simeonidou·· 14 小时前AI 评分29
多智能体 AI 框架实现移动边缘网络中公平感知的多模态大模型推理加速
Multi-Agentic AI for Fairness-Aware and Accelerated Multi-modal Large Model Inference in Real-world Mobile Edge Networks
AI 导读
研究者提出面向移动边缘网络的多智能体 AI 框架，由长期全局规划 Agent、短期提示词调度 Agent 和多个节点内 LM 部署 Agent 组成，通过自然语言推理协同优化提示词路由与模型部署。在城市级测试平台上，该方案相比 SOTA 在线学习基线降低平均端到端延迟 42.9%，相比全激活基线降低 80.6%，服务类型 Jain's index 均值保持 0.925。方案无需微调即可快速适配。
正文 · AI 翻译
摘要：生成式 AI（GenAI）已改变自然语言处理与内容创作领域的应用，但集中式推理仍受高延迟、可定制性有限和隐私问题的制约。在移动边缘网络中部署大模型（LM）成为一种有前景的解决方案。然而，这也带来了新的挑战，包括具有多样化资源需求和推理速度的异构多模态 LM、使编排复杂化的多种提示/输出模态，以及不适合并发 LM 执行的资源受限基础设施。为此，我们提出了一种面向移动边缘网络中延迟与公平性感知的多模态 LM 推理的多智能体 AI 框架。我们的方案包括一个长期全局规划智能体、一个短期提示调度智能体，以及多个节点内 LM 部署智能体，它们均由基础语言模型驱动。这些智能体通过对运行时遥测数据和历史经验进行自然语言推理，协同优化提示路由和 LM 部署。为评估其性能，我们进一步开发了一个覆盖全城的测试平台，支持网络监控、容器化 LM 部署、服务器内资源管理和服务器间通信。实验表明，与最先进的在线学习基线相比，我们的方案将平均端到端延迟降低了 42.9%，与全激活基线相比降低了 80.6%，同时保持服务类型 Jain 指数均值为 0.925。此外，我们的方案无需微调即可快速适应，为优化边缘环境中的 GenAI 服务提供了一种可泛化的解决方案。
| 学科： | 系统与控制（eess.SY）；人工智能（cs.AI）；分布式、并行与集群计算（cs.DC） |
| 引用为： | arXiv:2602.07215 [eess.SY] |
| （或本版本的 arXiv:2602.07215v2 [eess.SY]） | |
| https://doi.org/10.48550/arXiv.2602.07215 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haiyuan Li [查看邮箱]
[v1]
2026年2月6日星期五 21:52:49 UTC（5,720 KB）
[v2]
2026年10月25日星期日 21:30:46 UTC（7,686 KB）
来源：arXiv cs.AI · arxiv.org