多智能体框架加速移动边缘多模态推理

研究者提出一套面向移动边缘网络的多智能体 AI 框架，用于多模态大模型推理的延迟与公平性调度。该框架由长期全局规划 Agent、短期提示词调度 Agent 和多个节点内 LM 部署 Agent 组成，通过自然语言推理协同优化提示词路由与模型部署，无需微调即可适配。 在城市级测试平台上，该方案相比 SOTA 在线学习基线降低平均端到端延迟 42.9%，相比全激活基线降低 80.6%，服务类型 Jain's index 均值保持 0.925。上述数据来自作者报告的实验结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。