arXiv cs.AI· David Nukrai, Bar Alon, Nativ Levy, Ido Andrew Atad, Ido Cohen, Itamar Zimerman, Lior Wolf, Eli David, Ilan Naiman·· 3 天前AI 评分34
EvoWeb：面向持续演化 Web 应用的编码智能体基准
EvoWeb: A Benchmark for Coding Agents on Evolving Web Applications
AI 导读
研究者推出 EvoWeb 基准，包含覆盖 32 个 Web 应用的 320 条累积请求，按功能依赖图组织，由多模态 Web 智能体在真实浏览器中逐轮测试新功能、跨请求集成与既有功能。实验显示开源与闭源前沿模型表现差异明显，跨请求集成是主要难点，依赖更深或更多的后续请求解决准确率更低，运行时错误也随请求推进而增多。
正文 · AI 翻译
摘要：Web 应用开发通常通过一系列连续的请求来扩展现有实现。然而，Web 生成基准主要评估面向固定规范的开发。我们提出了 EvoWeb，这是一个新颖的基准，包含 32 个 Web 应用上的 320 个累积请求，以真实世界产品功能为基础，并由功能依赖图构建。智能体迭代地修改一个持久化的代码库，同时一个多模态 Web 智能体在实时浏览器中测试每个中间应用，评估新请求的功能、跨请求集成以及先前请求的功能。为了刻画整个开发过程中的可靠性，我们整合了跨用户容忍阈值的轨迹性能，而不是强加一个固定的停止标准。在开源和闭源前沿模型上的实验表明，EvoWeb 揭示了模型之间明显的性能差异，其中跨请求集成成为一项关键挑战。进一步分析表明，依赖更深或更多的后续请求被解决的准确率更低，而运行时错误在连续请求中变得更加频繁。EvoWeb 为评估和改进长时程、多请求开发中的编码智能体提供了一个测试平台。
| 评论： | 24 页，6 幅图。代码：此 https URL；数据集：此 https URL |
| 主题： | 人工智能 (cs.AI)；软件工程 (cs.SE) |
| 引用为： | arXiv:2610.16402 [cs.AI] |
| （或 arXiv:2610.16402v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16402 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Bar Alon [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 08:42:42 UTC（679 KB）
来源：arXiv cs.AI · arxiv.org