跳到正文
arXiv·· 14 天前AI 评分31

UndoBench:区分工具使用型 AI 智能体的任务能力与恢复能力

UndoBench: Separating Task Competence from Recovery Capability in Tool-Using AI Agents

AI 导读

UndoBench 是一个覆盖 8 个企业领域、36 个基础工作流与 36 个故障场景的基准,通过相同种子下的反事实配对试验,将任务能力与故障恢复能力解耦,并配有 wire-level 效果历史与环境状态 oracle。该基准在 12 个留出 TEST 工作流上测试了两个开源权重模型和两个框架。

来源:arXiv · arxiv.org