arXiv cs.AI· Wei Feng, Meiling Chen, Boxiao Chen, Lu Liu, Bin Zi, Libin Ye, Xingyu Lu, Lei Xu, Jun Zhou·· 1 天前AI 评分31
通过推理-环境协同优化降低 LLM 智能体工作负载的批次完工时间
Reducing Batch Makespan for LLM Agent Workloads through Inference-Environment Coordination
AI 导读
研究提出推理-环境协同优化方法，用于缩短 LLM 智能体批量任务的批次完工时间（makespan）。针对混合 LLM，基于工作负载的资源模型在 KV cache 与循环状态间分配 GPU 显存并给出参考样本并发度；轨迹感知路由与调度提升缓存复用并平衡负载，Chain-Advancing Action Scheduling（CAAS）在环境容量受限时优先推进长链以缩短批次尾部。
正文 · AI 翻译
摘要：智能体任务的高效批量执行对于 LLM 训练和开发工作流至关重要，包括基准评估、合成数据生成和 RL rollout。由于这些任务在 LLM 推理与环境交互之间交替进行，我们提出了协同优化以减少批量 makespan，即完成一批中所有任务所需的时间。对于混合 LLM，基于工作负载的资源模型指导键值（KV）缓存与循环状态之间的 GPU 内存分配，并提供参考样本并发度，以在限制重计算的同时利用并行性。轨迹感知的路由与调度促进缓存复用，同时平衡工作节点负载。在环境容量受限的情况下，我们将样本准入与环境执行解耦，并引入链推进动作调度（CAAS），它利用观测到的进度优先处理长链，以缩短批量尾部。受控重放将实际推理与记录的环境响应和持续时间相结合，用于对各项优化进行消融。在 BFCL、SWE-bench Multilingual、WideSearch 和 MCP-Atlas 基准上使用 Ling-3.0-Flash 和 Ling-3.1-Flash 进行的实时评估表明，makespan 减少了 10.4% 至 65.0%，同时评估分数保持一致。此外，这些方法已成功应用于 Ling-3.x 模型系列的训练和评估工作流，加速了模型开发周期。
| 注释： | 26 页，12 张图。技术报告 |
| 主题： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.16661 [cs.DC] |
| （或 arXiv:2611.16661v1 [cs.DC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16661 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wei Feng [查看邮箱]
[v1]
2026年11月12日星期四 11:38:21 UTC（722 KB）
来源：arXiv cs.AI · arxiv.org