新基准AOS-Bench评测智能体工作负载管理
热点事件持续更新
新基准AOS-Bench评测智能体工作负载管理
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
Erle Zhu等作者提出AOS-Bench,把智能体系统当作工作负载管理器来评测:任务随时间陆续到达,需在共享CPU和内存限制下交付,同一批任务逐个运行的结果作为各系统的参照。 在五组模型-harness组合中,重负载下每个系统都损失13至23分;中等负载下各系统隔离成功率相差11分,流式成功率相差26分。串行调度导致重负载下73%的任务无人认领,而固定并发度为2的策略在两个负载档位上均与最佳智能体管理策略相差不到4分。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 12:00
AOS-Bench:LLM 智能体能否管理动态工作负载?报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- arXiv cs.AIAOS-Bench:LLM 智能体能否管理动态工作负载?
新基准 AOS-Bench 将智能体系统作为工作负载管理器来评测:任务随时间陆续到达,需在共享 CPU 和内存限制下交付。在五组模型-harness 组合中,重负载下每个系统都损失 13 至 23 分;中等负载下各系统隔离成功率相差 11 分,但流式成功率相差 26 分。串行调度导致重负载下 73% 的任务无人认领,而固定并发度为 2 的策略在两个负载档位上均与最佳智能体管理策略相差不到 4 分。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。