arXiv cs.AI· Wonmi Choi, Minuk Park, Zhixiong Niu, Yongqiang Xiong, Chuck Yoo, Gyeongsik Yang·· 3 天前AI 评分24
并非所有 AI 智能体都相同:解析资源与性能动态
Not All AI Agents Are Equal: Characterizing Resource and Performance Dynamics
AI 导读
研究对检索增强问答、网页搜索和软件编程三类 LLM 智能体任务进行资源动态刻画,发现同一工具在不同任务下的资源表现差异显著,并发请求会暴露 CPU、磁盘 I/O 和内存等任务相关瓶颈,更快的 LLM 响应或更多 CPU 核心并不总能加速智能体。基于此提出的 CPU 感知工具准入与任务感知 CPU 分配优化,使 CPU 敏感任务延迟提升约 5.4 倍,多任务平均延迟降低约 32%。
正文 · AI 翻译
摘要:基于 LLM 的 AI 智能体通过迭代推理和工具执行来处理用户请求,通常涉及调用远程 LLM API 以及本地工具容器。这种执行模型会使智能体服务的优化变得困难,因为延迟、本地资源需求和容器瓶颈在不同请求之间相互交织。然而,当前的智能体生态系统在运行时并未充分考虑资源动态,导致宝贵资源的严重浪费。本文针对三种代表性任务分析了 AI 智能体的资源交织情况:检索增强问答、网络搜索和软件编程。为此,我们刻画了在并发处理多个请求和任务时,延迟相对于资源动态的变化特征。我们的测量表明,智能体因任务不同而表现出广泛的行为差异,因此即使是同一个工具,其资源动态也可能存在显著差异。我们还发现,并发运行多个请求会暴露出资源动态中依赖任务的瓶颈,如 CPU、磁盘 I/O 和内存。此外,我们发现更快的 LLM 响应或更多的 CPU 核心并不总能加速智能体。基于这些观察,我们展示了利用任务资源动态的新优化机会:CPU 感知的工具准入和任务感知的 CPU 分配。我们的结果表明,与原生智能体相比,CPU 敏感的智能体任务延迟提升了约 5.4 倍,多个任务的平均延迟降低了约 32%。
| 学科: | 人工智能(cs.AI);性能(cs.PF) |
| 引用为: | arXiv:2609.19947 [cs.AI] |
| (或使用 arXiv:2609.19947v2 [cs.AI] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2609.19947 arXiv 颁发的 DOI,通过 DataCite |
提交历史
来自:Wonmi Choi [查看电子邮件]
[v1]
2026 年 9 月 17 日星期四 09:20:53 UTC(1,534 KB)
[v2]
2026 年 10 月 12 日星期一 03:56:41 UTC(1,525 KB)
来源:arXiv cs.AI · arxiv.org