arXiv cs.AI· Madhav Kanda, Sharad Agarwal, Rodrigo Fonseca, Alok Gautam Kumbhare, Pedro Las-Casas·· 2 天前AI 评分31
WorkflowPerturb：面向多智能体工作流指标评估的校准压力测试基准
WorkflowPerturb: Calibrated Stress Tests for Evaluating Multi-Agent Workflow Metrics
AI 导读
WorkflowPerturb 是一个用于评估多智能体工作流指标的受控基准，包含 4,973 条黄金工作流和 44,757 个扰动变体，覆盖 Missing Steps、Compressed Steps、Description Changes 三类扰动，严重程度分为 10%、30%、50%。
正文 · AI 翻译
摘要：从自然语言请求生成结构化工作流的多智能体 LLM 系统现已在云自动化、DevOps 和企业编排中投入生产部署。运行这些系统会暴露一个反复出现的变化管理问题。常规更新，例如重新运行输入、更换 LLM，或重构某个智能体的提示词或编排代码，往往会产生与已验证参考工作流存在显著差异的工作流。工程师因此缺乏一种有原则的方法来判断某项变更是否可以安全发布。自动工作流评估是自然的工具，但在实践中，指标分数校准不佳，而数值变化很少能传达底层退化的严重程度。我们提出 WorkflowPerturb，一个受控基准，对黄金工作流施加真实、分级的扰动。它包含 4,973 个黄金工作流和 44,757 个扰动变体，涵盖三种扰动类型（缺失步骤、压缩步骤、描述变更），严重程度分别为 10%、30% 和 50%。我们对多个指标族进行基准测试，使用预期分数轨迹和实例级告警率分析其敏感性和校准。我们的结果刻画了各指标族之间的系统性差异，并支持在变化管理场景中对工作流评估分数进行严重程度感知的解读。WorkflowPerturb 已在 此 https URL 公开提供。
| Comments: | 已被 EMNLP 2026 Industry Track 接收。18 页 |
| Subjects: | 人工智能（cs.AI） |
| Cite as: | arXiv:2602.17990 [cs.AI] |
| （或 arXiv:2602.17990v4 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.17990 由 DataCite 颁发的 arXiv DOI |
Submission history
来自：Sharad Agarwal [查看电子邮件]
[v1]
2026年2月20日星期五 04:54:31 UTC（1,060 KB）
[v2]
2026年6月14日星期日 22:14:32 UTC（399 KB）
[v3]
2026年9月10日星期四 20:04:43 UTC（404 KB）
[v4]
2026年10月15日星期四 17:50:57 UTC（404 KB）
来源：arXiv cs.AI · arxiv.org