跳到正文
arXiv cs.AI· Wonmi Choi, Minuk Park, Zhixiong Niu, Yongqiang Xiong, Chuck Yoo, Gyeongsik Yang·· 3 天前AI 评分24

并非所有 AI 智能体都相同:解析资源与性能动态

Not All AI Agents Are Equal: Characterizing Resource and Performance Dynamics

AI 导读

研究对检索增强问答、网页搜索和软件编程三类 LLM 智能体任务进行资源动态刻画,发现同一工具在不同任务下的资源表现差异显著,并发请求会暴露 CPU、磁盘 I/O 和内存等任务相关瓶颈,更快的 LLM 响应或更多 CPU 核心并不总能加速智能体。基于此提出的 CPU 感知工具准入与任务感知 CPU 分配优化,使 CPU 敏感任务延迟提升约 5.4 倍,多任务平均延迟降低约 32%。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:基于 LLM 的 AI 智能体通过迭代推理和工具执行来处理用户请求,通常涉及调用远程 LLM API 以及本地工具容器。这种执行模型会使智能体服务的优化变得困难,因为延迟、本地资源需求和容器瓶颈在不同请求之间相互交织。然而,当前的智能体生态系统在运行时并未充分考虑资源动态,导致宝贵资源的严重浪费。本文针对三种代表性任务分析了 AI 智能体的资源交织情况:检索增强问答、网络搜索和软件编程。为此,我们刻画了在并发处理多个请求和任务时,延迟相对于资源动态的变化特征。我们的测量表明,智能体因任务不同而表现出广泛的行为差异,因此即使是同一个工具,其资源动态也可能存在显著差异。我们还发现,并发运行多个请求会暴露出资源动态中依赖任务的瓶颈,如 CPU、磁盘 I/O 和内存。此外,我们发现更快的 LLM 响应或更多的 CPU 核心并不总能加速智能体。基于这些观察,我们展示了利用任务资源动态的新优化机会:CPU 感知的工具准入和任务感知的 CPU 分配。我们的结果表明,与原生智能体相比,CPU 敏感的智能体任务延迟提升了约 5.4 倍,多个任务的平均延迟降低了约 32%。
学科: 人工智能(cs.AI);性能(cs.PF)
引用为: arXiv:2609.19947 [cs.AI]
  (或使用 arXiv:2609.19947v2 [cs.AI] 查看此版本)
  https://doi.org/10.48550/arXiv.2609.19947

arXiv 颁发的 DOI,通过 DataCite

提交历史

来自:Wonmi Choi [查看电子邮件]
[v1] 2026 年 9 月 17 日星期四 09:20:53 UTC(1,534 KB)
[v2] 2026 年 10 月 12 日星期一 03:56:41 UTC(1,525 KB)

来源:arXiv cs.AI · arxiv.org