跳到正文
热点事件持续更新

新基准AOS-Bench评测智能体工作负载管理

1 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

Erle Zhu等作者提出AOS-Bench,把智能体系统当作工作负载管理器来评测:任务随时间陆续到达,需在共享CPU和内存限制下交付,同一批任务逐个运行的结果作为各系统的参照。 在五组模型-harness组合中,重负载下每个系统都损失13至23分;中等负载下各系统隔离成功率相差11分,流式成功率相差26分。串行调度导致重负载下73%的任务无人认领,而固定并发度为2的策略在两个负载档位上均与最佳智能体管理策略相差不到4分。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv cs.AI
    AOS-Bench:LLM 智能体能否管理动态工作负载?

    新基准 AOS-Bench 将智能体系统作为工作负载管理器来评测:任务随时间陆续到达,需在共享 CPU 和内存限制下交付。在五组模型-harness 组合中,重负载下每个系统都损失 13 至 23 分;中等负载下各系统隔离成功率相差 11 分,但流式成功率相差 26 分。串行调度导致重负载下 73% 的任务无人认领,而固定并发度为 2 的策略在两个负载档位上均与最佳智能体管理策略相差不到 4 分。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。