研究提出推理-环境协同优化缩短LLM智能体批处理完工时间

1. 13:00
   arXiv cs.AI

   通过推理-环境协同优化降低 LLM 智能体工作负载的批次完工时间

   研究提出推理-环境协同优化方法，用于缩短 LLM 智能体批量任务的批次完工时间（makespan）。针对混合 LLM，基于工作负载的资源模型在 KV cache 与循环状态间分配 GPU 显存并给出参考样本并发度；轨迹感知路由与调度提升缓存复用并平衡负载，Chain-Advancing Action Scheduling（CAAS）在环境容量受限时优先推进长链以缩短批次尾部。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。