arXiv cs.AI· Huaiming Li, Can Huang, Chufan Wu, Danyu Liu, Xiaomin Yuan, Qinze Li, Yui Lo, Wenhui Bai, Qianlong Wang, Zengle Ge, Xiyu Yan, Yuheng Cheng, Jinhui Ren, Guokai Chen, Jiaqun Liu, Haoran Li, Qianhui Liu, Annan Li, Jianmin Wu, Dawei Yin, Dou Shen·· 3 天前AI 评分33
FDE-Bench：评估智能体在需求不明确真实业务请求中的端到端交付能力
FDE-Bench: Evaluating End-to-End Delivery from Underspecified Real-World Business Requests
AI 导读
首个基于真实客户项目构建的 FDE-Bench 基准发布，用于评估智能体在需求不明确业务任务中的端到端交付能力，涵盖 49 个组合优化与机器学习案例。在 18 种智能体配置中，最高平均交付得分仅 0.5510（FDE 参考值为 1.0），最高交付成功率（DSR）仅 6.12%，表明可靠的前置工程师级端到端交付对现有智能体仍不可及。
正文 · AI 翻译
作者：Huaiming Li、Can Huang、Chufan Wu、Danyu Liu、Xiaomin Yuan、Qinze Li、Yui Lo、Wenhui Bai、Qianlong Wang、Zengle Ge、Xiyu Yan、Yuheng Cheng、Jinhui Ren、Guokai Chen、Jiaqun Liu、Haoran Li、Qianhui Liu、Annan Li、Jianmin Wu、Dawei Yin、Dou Shen
摘要：现实世界的业务需求往往不会明确说明关键要求，因为一线从业者难以清晰表达他们凭经验所知的规则。前向部署工程师（FDE）必须通过对话引出这些需求，并迭代优化解决方案，直到满足客户验收标准。现有的优化基准通常从明确的目标出发，而澄清类基准往往将信息缺口引入现有任务。我们提出了 FDE-Bench，这是首个基于真实客户项目构建的基准，用于评估智能体在需要交互式需求澄清和迭代优化的端到端交付任务上的表现。其 49 个案例涵盖组合优化和机器学习。澄清目标是从一线从业者与 FDE 的讨论中提炼出来的。智能体从模拟客户处引出缺失的需求，案例特定的评估器使用客户认可的 FDE 解决方案作为质量参考，依据验收标准评估最终产物。在 18 种智能体配置中，最高平均交付得分仅为 0.5510，而 FDE 参考值为 1.0。最高交付成功率（DSR），即达到该参考值的计划运行比例，仅为 6.12%。这些结果表明，在需求说明不充分的现实业务任务上，所评估的智能体仍无法实现可靠的 FDE 级端到端交付。基准项目页面见 此 https URL。
| 主题： | 人工智能（cs.AI）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.14539 [cs.AI] |
| （或 arXiv:2610.14539v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14539 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Can Huang [查看邮箱]
[v1]
2026年10月10日星期六 03:53:42 UTC（983 KB）
来源：arXiv cs.AI · arxiv.org