arXiv cs.AI· Dongxu Yang, Hongda Yan, Renxin Wang, Baoli Zhang, Haojia Zuo, Ying Zhao, Youmin Chen, Xiaojian Liao, Congming Gao, Tianyang Jiang, Yixiao Chen, Qing Wang, Zhiguo Yu, Xiaqing Li, Yuhao Zhang, Jiawen Sun, Renzhe Xu, De Mi, Tiancheng Wu, Xianya Fu, Xuanlu Zhao, Bo Feng, Meixuan Ren, Guanming Lin, Ziheng Zhou, Xinhua Wang·· 2 天前AI 评分44
FDE-Gym：AI 交付的最后一公里基准
FDE-Gym: The Last Mile of AI Delivery
AI 导读
研究团队推出 FDE-Gym，一个包含 95 个端到端交付任务的基准，覆盖 20 个客户场景、18 个行业，由行业专家从真实交付项目改编。在模拟客户环境中，13 个模型配置（来自 7 家提供商）表现最佳者平均得分仅 0.56，95 个任务中只解决 14 个。发现未明说的约束是主要瓶颈，即便最佳配置已获取全部关键事实的 23 个任务中，也仅 10 个达到 0.8 以上业务提升。
正文 · AI 翻译
作者：Dongxu Yang、Hongda Yan、Renxin Wang、Baoli Zhang、Haojia Zuo、Ying Zhao、Youmin Chen、Xiaojian Liao、Congming Gao、Tianyang Jiang、Yixiao Chen、Qing Wang、Zhiguo Yu、Xiaqing Li、Yuhao Zhang、Jiawen Sun、Renzhe Xu、De Mi、Tiancheng Wu、Xianya Fu、Xuanlu Zhao、Bo Feng、Meixuan Ren、Guanming Lin、Ziheng Zhou、Xinhua Wang
摘要：现有的智能体基准测试通常依据问题报告、规格说明或任务工单所定义的明确任务来评估智能体。而现实中的客户交付则不同：前向部署工程师（FDE）必须澄清模糊的需求、在实时系统中工作，并发现未明说的约束条件。我们提出 FDE-Gym，这是一个包含来自 18 个行业、20 个客户场景的 95 个端到端交付任务的基准，每个任务均由行业专家根据真实交付项目改编。在具有脚本化利益相关者和可修改客户系统的模拟客户环境中，智能体与利益相关者交互，并在类生产系统上操作以交付可用的解决方案。FDE-Gym 根据交付对客户自身成功指标的提升程度进行评分，归一化在 0（系统未改变）到 1（参考解决方案）之间，并对利益相关者交互（消息、试运行和等待时间）进行扣分。一个在线平台让人类在相同的评分标准下练习 FDE 技能。我们评估了来自七家提供商的 13 种模型配置。在必须发现未明说约束条件的现实设定中，最佳配置取得平均 FDE-Gym 得分 0.56，仅解决了 95 个任务中的 14 个（得分至少 0.8 且无事故）。发现未明说的约束条件是主要瓶颈：当模型必须在没有明确指导的情况下发现这些约束时，性能急剧下降。然而，仅靠信息发现并不能解释这一差距：即使在最佳配置从利益相关者处获得所有关键事实的 23 个任务上，它也仅在 10 个任务上达到 0.8 或以上的归一化业务提升。这些结果揭示了解决明确规定的任务与为真实客户交付有效 AI 系统之间的巨大差距。
| 评论： | 14 页，8 幅图，4 张表。网站：此 https URL；代码：此 https URL；数据：此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.22350 [cs.AI] |
| （或 arXiv:2610.22350v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22350 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Dongxu Yang [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 17:57:23 UTC（5,295 KB）
来源：arXiv cs.AI · arxiv.org