arXiv cs.CL· Vivek Kumar Singh, Preeti Priyam, Gautam Bhowmick·· 10 小时前AI 评分31
多智能体 LLM 工作流的代理总成本:记忆注入成本的精确归因
Total Cost of Agency: Exact Attribution of Memory Injection Cost in Multi-Agent LLM Workflows
AI 导读
研究提出 Total Cost of Agency(TCA),将多智能体 LLM 工作流成本拆分为基础提示词、推理、记忆注入、未命中惩罚和上下文累积五项,并用两遍非计费 token 计数精确归因注入 token。
正文 · AI 翻译
摘要:在多智能体大语言模型(LLM)工作流中,每个节点都会从记忆中检索上下文并将其注入提示词,这些被注入的 token 会作为输入 token 计费,单价与系统提示词和用户查询相同。生产环境可观测性工具会报告总 token 成本,但不会区分节点生成的 token 与节点接收的 token,因此这部分账单对承担费用的团队而言是不可见的。我们提出智能体总成本(Total Cost of Agency,TCA),将多智能体工作流成本分解为基础提示词、推理、记忆注入、未命中惩罚和上下文累积等组成部分,并提出一种精确归因方法:通过两遍、不计费的 token 计数直接测量注入的 token,而不是根据字数代理指标进行估算。在一个针对真实模型 API 执行的 200 项企业基准测试中,记忆注入占编译期优化器可影响的变动成本的 13.6%,约占全部计费成本的 12%,且其占比从工作流深度为 1 时的结构性零值上升到深度为 6 时的 27.6%。在测量范围内(深度 2 至 6),注入 token 随深度线性增长(R^2 = 0.9974);二次拟合得到负的首项系数,因此数据在这些深度上并未表现出凸增长。我们表明,在固定模型层级下该组成部分是可控的:将检索窗口容量从 32 条降至 2 条,可使注入 token 减少 28.7%,而准确率变化在种子级波动范围内。我们完整报告:我们的图重写变换在单独使用时成本近似中性;在此测试框架中,五个分解项中有两项按构造为零;工作流总成本主要由模型层级分配决定,我们将其固定并视为先前工作。未评估提示词缓存;所有数字均为未缓存情况下的结果。
| 评论: | 8 页,3 幅图,6 张表。代码、数据和评估框架见 github:此 https URL |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL);多智能体系统(cs.MA);性能(cs.PF) |
| 引用为: | arXiv:2609.23790 [cs.AI] |
| (或 arXiv:2609.23790v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2609.23790 arXiv 通过 DataCite 颁发的 DOI |
提交历史
来自:Vivek Kumar Singh [查看电子邮件]
[v1]
2026 年 9 月 20 日星期日 18:23:47 UTC(232 KB)
来源:arXiv cs.CL · arxiv.org