arXiv cs.MA· Divij Handa, Christopher Tensmeyer, Jihyung Kil, Vlad I. Morariu·· 10 小时前AI 评分32
DeCAF:分解、诊断与组合,优化智能体流水线与运行框架
Divide, Diagnose, and Compose: Optimizing Agentic Pipelines and Harnesses
AI 导读
DeCAF(Decomposed Credit-Assignment Framework)通过按维度分解优化智能体流水线的提示词、拓扑、模型选择与工具策略,并为每个决策生成推理轨迹。
正文 · AI 翻译
摘要:构建既能实现高任务性能、又能保持低成本和低延迟的智能体流水线,需要联合优化异构且相互耦合的设计选择,包括提示词、拓扑结构、模型选择和工具策略。手动搜索这一组合设计空间既昂贵又耗时,而现有的自动化优化器通常只在该空间的一个预定义子集内运行,以整体方式修改流水线,或者对流水线变更提供的结构化证据很少。为缓解这些挑战,我们引入了分解式信用分配框架(DeCAF),它使设计空间适配给定的基准和流水线,分别优化每个维度,并为每个决策生成推理轨迹。给定任务规范、基准示例和种子流水线,DeCAF 识别相关的优化维度,并为每个维度生成多样化的实验假设。随后,独立的编码智能体会话在受限的编辑范围内优化每个维度,在记录每次实验的所有假设、编辑和结果的同时,联合评估性能、推理成本和延迟。最后的综合会话会结合所有维度上相互兼容的发现,并使用组件级轨迹评估器(该评估器从每个智能体的指令中推导出角色特定的评分标准)来定位表现不佳的组件,并指导跨维度的修订。在一系列多样化的智能体基准上,与最佳整体基线相比,DeCAF 将平均任务性能提高了 2.58 个百分点,同时将推理成本降低了 4.30%,端到端延迟降低了 42.45%。
| 主题: | 多智能体系统(cs.MA) |
| 引用为: | arXiv:2611.08723 [cs.MA] |
| (或 arXiv:2611.08723v1 [cs.MA] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.08723 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Vlad Morariu [查看电子邮件]
[v1]
2026年11月5日星期四 21:16:05 UTC(470 KB)
来源:arXiv cs.MA · arxiv.org