arXiv cs.CL· Yuchi Wang, Rongyao Fang, Weihao Yu, Xilin Wei, Tiancheng Gu, Dingkang Yang, Hang Zhang, Dayiheng Liu, Hongsheng Li, Shuai Bai·· 11 小时前AI 评分32
RefCraft：以网页开发为场景评测视觉参考条件下的智能体生成能力
RefCraft: Benchmarking Visual-Reference-Conditioned Agentic Generation through Web Development
AI 导读
研究者提出 RefCraft 基准，包含 300 个真实多模态网页开发任务，将自然语言指令与 1 至 5 个参考网页截图结合，要求智能体选择性解读参考并渲染、视觉检查、迭代优化输出。在 9 个前沿（多模态）大模型上，最强系统总分仅 52.12/100，表明视觉参考条件下的智能体生成在真实网页开发场景中仍是显著挑战。评测采用可独立验证的关键点及程序化与 VLM 评判相结合的方式。
正文 · AI 翻译
摘要：除了基本的工具使用和编码技能外，将视觉参考有效地融入智能体生成过程，对于将 AI 智能体应用于现实世界的生产力任务同样至关重要。我们通过网页开发这一实用且易于评估的场景来研究这一关键能力，而现有基准在该场景下仍大多过于理想化：它们通常侧重于重建视觉目标或仅根据文本指令生成网页，忽视了从视觉示例出发进行开发这一更常见的工作流程。具体而言，我们推出了 RefCraft，这是一个包含 300 个真实多模态网页开发任务的基准，这些任务将自然语言指令与来自一至五个参考网页的截图相结合。智能体必须在渲染、视觉检查和迭代优化其输出的过程中，有选择地解读和利用这些参考。我们使用可独立验证的关键点以及互补的程序化评判器和 VLM 评判器来评估由此产生的开放式产物。在九个前沿（多模态）大语言模型中，最强的系统总分也仅达到 100 分中的 52.12 分，这表明在现实的网页开发场景中，以视觉参考为条件的智能体生成对当前模型而言仍是一项重大挑战。
| 评论： | 项目页面：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.26826 [cs.CL] |
| （或 arXiv:2610.26826v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.26826 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuchi Wang [查看电子邮件]
[v1]
2026年10月19日星期一 17:55:06 UTC（3,869 KB）
[v2]
2026年11月4日星期三 16:45:09 UTC（3,869 KB）
来源：arXiv cs.CL · arxiv.org