arXiv cs.CL· Haoyu Sun, Huichen Will Wang, Jiawei Gu, Linjie Li, Yu Cheng·· 12 小时前AI 评分35
FullFront:覆盖完整前端工程流程的 MLLM 基准测试
FullFront: Benchmarking MLLMs Across the Full Front-End Engineering Workflow
AI 导读
FullFront 是一个评估多模态大模型(MLLM)完整前端开发流程的基准,涵盖网页设计、网页感知问答和网页代码生成三项任务。它通过两阶段流程将真实网页转换为干净、标准化的 HTML,避免代码臃肿与版权问题。测试显示当前 SOTA MLLM 在页面感知、代码生成(尤其是图像处理与布局)及交互实现上存在明显局限,与人类专家水平差距显著。
正文 · AI 翻译
摘要:前端工程涉及复杂的工作流程,工程师需要构思设计、将其转化为代码,并迭代优化实现。虽然近期的基准测试主要关注将视觉设计转换为代码,但我们提出了 FullFront,这是一个旨在评估多模态大语言模型(MLLMs)\textbf{在整个前端开发流程中}表现的基准测试。FullFront 评估三项直接对应前端工程流程的基本任务:网页设计(构思阶段)、网页感知问答(理解视觉组织与元素)以及网页代码生成(实现阶段)。现有基准测试要么使用代码臃肿的抓取网站,要么使用过于简化的 LLM 生成 HTML,与之不同,FullFront 采用新颖的两阶段流程,将真实网页转化为干净、标准化的 HTML,同时保持多样的视觉设计并避免版权问题。对最先进 MLLMs 的广泛测试揭示了其在页面感知、代码生成(尤其是图像处理和布局方面)以及交互实现方面的显著局限。我们的结果定量展示了不同模型和任务之间的性能差异,并凸显了当前 MLLM 能力与人类专家在前端工程中表现之间的巨大差距。FullFront 基准测试和代码可在 此 https URL 获取。
| 学科: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2505.17399 [cs.CL] |
| (或 arXiv:2505.17399v4 [cs.CL] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2505.17399 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Haoyu Sun [查看邮箱]
[v1]
2025年5月23日星期五 02:16:11 UTC(7,701 KB)
[v2]
2025年5月26日星期一 11:15:36 UTC(7,701 KB)
[v3]
2026年10月5日星期一 09:16:43 UTC(9,735 KB)
[v4]
2026年10月27日星期二 06:32:22 UTC(9,734 KB)
来源:arXiv cs.CL · arxiv.org