arXiv cs.AI· Ahasan Kabir, Mengxin Zheng, Qian Lou·· 13 小时前AI 评分34
INFRAMIND：面向服务基础设施感知的多智能体编排
INFRAMIND: Infrastructure-Aware Multi-Agent Orchestration
AI 导读
INFRAMIND 是一种分层策略，可根据共享服务队列的负载与剩余时间预算，联合调整多智能体工作流的协作图与每次调用的模型和推理策略。在五模型共享部署的五个基准上，低负载准确率最高提升 7.6 个百分点；500 道 MATH 题、10-300 秒截止时间下，按时答对比例从 20.4% 升至 33.8%。
正文 · AI 翻译
摘要：多智能体 LLM 系统在推理和协作上花费额外计算，但共享的服务队列可能使这些计算无法在截止时间前产出答案。这形成了一个耦合决策：推理工作流决定负载，而负载变化又决定哪些推理选择仍然可负担。我们提出 INFRAMIND，一种分层策略，使工作流规划与执行适应服务条件。在请求到达时，规划器利用任务信息、负载和时间预算选择协作图。在每次智能体调用之前，执行器利用刷新的遥测数据和剩余时间联合选择模型和推理策略。一个共享的延迟惩罚将两个策略连接起来。我们的分析刻画了当拥塞反转首选计算时，为何观察负载很重要。在共享的五模型部署上跨五个基准测试，INFRAMIND 相比评估中最强的基线将低负载准确率最多提升 7.6 个百分点。在 500 道 MATH 题目上，采用匹配的 EDF 调度和每请求 10-300 秒的截止时间，它将正确且按时完成的答案从 20.4% 提升到 33.8%。在 15 个模型和 Azure 时序于同一基准和截止时间层级上重放时，该比例相比 MasRouter 从 11.6% 上升到 54.8%。这些结果支持在整个工作流中根据可用服务容量调整推理决策。
| 评论： | 预印本 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2606.11440 [cs.AI] |
| （或 arXiv:2606.11440v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2606.11440 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ahasan Kabir [查看电子邮件]
[v1]
2026年6月9日星期二 20:50:12 UTC（5,704 KB）
[v2]
2026年10月28日星期三 04:28:05 UTC（2,682 KB）
来源：arXiv cs.AI · arxiv.org