arXiv cs.AI· Yichao Yuan, Mosharaf Chowdhury, Nishil Talati·· 10 小时前AI 评分31
KAIROS：面向智能体推理服务的有状态上下文感知节能系统
KAIROS: Stateful, Context-Aware Power-Efficient Agentic Inference Serving
AI 导读
KAIROS 是一个面向智能体 AI 推理服务的上下文感知功耗优化系统，在多种软件与数据工程智能体任务上平均降低 27%（最高 39.8%）功耗，同时满足性能目标。
正文 · AI 翻译
摘要：功耗已成为 AI 推理的核心瓶颈。随着智能体 AI 成为一类主要工作负载，这一问题愈发紧迫，然而此前的功耗管理技术几乎完全聚焦于单轮 LLM 服务。我们的分析表明，智能体服务的行为有着根本不同：每个请求都携带长期存活的上下文，该上下文在工具交错的轮次中不断演化；而降低 GPU 频率可能将系统推入抖动状态，此时内存压力会急剧恶化性能与能效。这些观察表明，智能体服务的功耗优化需要重新思考。
我们提出 KAIROS，一个面向智能体 AI 服务的上下文感知功耗优化系统。KAIROS 将智能体上下文作为一等控制信号，联合管理 GPU 频率、每实例并发度以及多实例请求放置。这使 KAIROS 能够在存在内存余量时节省功耗，同时避免抖动并保持性能目标。从高层看，KAIROS 以智能体粒度跟踪请求，使本地控制适应上下文增长与智能体进展，并在实例间路由智能体，以共同提升能效与内存稳定性。在多种软件与数据工程智能体任务上评估，KAIROS 在满足性能目标的同时平均降低 27%（最高 39.8%）的功耗。
| 主题： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.16682 [cs.DC] |
| （或 arXiv:2604.16682v2 [cs.DC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.16682 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yichao Yuan [查看邮箱]
[v1]
2026年4月17日星期五 20:39:25 UTC（1,785 KB）
[v2]
2026年11月10日星期二 05:17:57 UTC（1,149 KB）
来源：arXiv cs.AI · arxiv.org