RefCraft 基准评测视觉参考下的智能体网页生成

研究者 Yuchi Wang 等提出并发布 RefCraft 基准，用于评测智能体在视觉参考条件下的网页生成能力。该基准包含 300 个真实多模态网页开发任务，每个任务把自然语言指令与 1 至 5 个参考网页截图结合，要求智能体选择性解读参考内容，并完成渲染、视觉检查和迭代优化。 在 9 个前沿（多模态）大模型上，最强系统总分仅 52.12/100，表明视觉参考条件下的智能体生成在真实网页开发场景中仍是显著挑战。评测采用可独立验证的关键点，并结合程序化评判与 VLM 评判。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。