为什么 LLM 生成的鹈鹕长这样？
Why do LLM pelicans look like this?
一项新基准 Design Creativity Bench 用 80 个开放式 UI 设计任务评测 16 个前沿模型的创意能力，从原创性、创意跨度和适配性三个维度打分。表现最好的 OpenAI GPT-6 Astra 得 65.5 分，人类设计师参考分为 92.3，差距明显。该基准的排行榜、方法论与可复现评测框架已公开。
DD
Dipanjan Dey ✓
@Dipanjan_Dey
⚠️ 前沿 AI 模型在设计创造力方面仍显著落后于人类设计师。⚠️
推出 Design Creativity Bench，一个评估 AI 模型在 UI 设计任务上创造力的新基准。
尽管 AI 模型在生成功能性网站和产品 UI 方面进步迅速，领先的 AI 模型在做出创造性设计决策方面仍显吃力。
我们评估了 16 个前沿模型，涵盖 80 个开放式 UI 任务，每个任务都适配两个不同的产品领域，并配有真人设计师参考。
现有的 UI 基准通常只衡量单一的输出质量指标。而我们则从设计创造力的三个维度进行衡量：
- – 原创性：模型的设计与同一需求下其他模型输出相比有多独特。
- – 创意跨度：当产品领域变化时，模型的设计决策调整幅度有多大。
- – 恰当性：生成的 UI 在多大程度上满足需求的功能要求。
结果揭示了整体创造力上的巨大差距：最佳模型 @OpenAI GPT-6 Astra 得分为 65.5，而人类参考得分为 92.3。
我们将公布完整排行榜、方法论和可复现的评估框架，使设计创造力成为前沿模型能力中可衡量的一个维度。
📊 基准排行榜：https://kombai.com/benchmark/
📄 论文：https://arxiv.org/abs/2610.11539
🤗 HuggingFace 数据集：https://huggingface.co/datasets/Kombai/design-creativity-bench
🔗 Github：https://github.com/kombai-io/design-creativity-bench/
来源：Hacker News · arcfu.com