跳到正文
arXiv cs.AI· JunJia Guo (Joe), Yuhang Yao (Joe), Chang Li (Joe), Zimeng Pan (Joe), Jiawei (Joe), Zhou, Jingdi Chen·· 9 天前AI 评分41

VISTA:面向视觉设计稿到 Web 应用编码智能体的端到端基准

VISTA: An End-to-End Benchmark for Visual Spec-to-Web-App Coding Agents

AI 导读

VISTA 是面向编码智能体的端到端基准,将多页设计稿(Figma 渲染、结构与文本需求)转化为可运行的全栈 Web 与 Android 应用。它覆盖 18 个应用的 8,487 个人工标注交互组件(126 个 Web 页面、576 个 Android 屏幕),并提供可执行评测器给出定位、行为与联合得分。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:编码智能体如今已能根据设计稿构建应用,但一个看起来正确的界面并不等于一个能正常工作的应用。现有基准要么只评估视觉还原而不涉及后端,要么仅根据文本需求测试全栈功能,很少有基准将评分与设计所需的各个组件对应起来。我们提出 VISTA(VIsual Spec-To-App),一个端到端基准,其中编码智能体将多页设计交付物(Figma 渲染图、结构和文本需求)转化为可运行的全栈 Web 和移动端(Android)应用。VISTA 提供跨 18 个应用(126 个 Web 页面和 576 个 Android 屏幕)的 8,487 个人工标注交互组件,以及一个可执行评估器,它能在运行中的应用里定位已标注组件并探测其交互,从而给出可追溯到单个设计需求的定位、行为和联合评分。在 14 个已部署的编码智能体系统中,最佳联合评分在 Web 上为 0.553,在移动端为 0.378,且 14 个系统中有 13 个在 Web 上的行为评分低于定位评分。组件探测在 90.1% 的受审计 Web 交付物中检测到无响应控件。开发轨迹显示了过程偏离任务之处:44.5% 的轨迹从未打开设计截图,73.0% 省略了规定的自审计,8.3% 在检查失败后仍报告成功。VISTA 使渲染设计与交付可工作应用之间的差距在单个组件层面变得可衡量。代码见 \href{此 https URL}。
Comments: 项目页面:此 https URL
Subjects: 软件工程(cs.SE);人工智能(cs.AI);计算机视觉与模式识别(cs.CV)
引用为: arXiv:2605.26144 [cs.SE]
  (或本版本使用 arXiv:2605.26144v4 [cs.SE])
  https://doi.org/10.48550/arXiv.2605.26144

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Junjia Guo [查看邮箱]
[v1] 2026年5月22日星期五 20:29:12 UTC(3,170 KB)
[v2] 2026年6月11日星期四 00:11:54 UTC(3,170 KB)
[v3] 2026年6月22日星期一 18:12:46 UTC(3,172 KB)
[v4] 2026年9月29日星期二 00:12:17 UTC(3,616 KB)

来源:arXiv cs.AI · arxiv.org