arXiv cs.CL· Jonas Oppenlaender, Johanna M. Silvennoinen·· 10 小时前AI 评分36
AlienBench：评估语言模型输出结构新颖性的基准
AlienBench: A Benchmark of Structural Novelty in Language Model Outputs
AI 导读
研究者提出 AlienBench，将认知心理学的结构化想象任务适配到语言模型：模型描述外星生物，由三个 LLM 评委提取十项生物特征并判断是否偏离地球动物常规，得分 0-10。
正文 · AI 翻译
摘要：大型语言模型（LLM）越来越多地被用于写作、设计和创意生成等创造性任务。对于这些用途，模型的创意是偏离熟悉的范例还是贴近它们，这一点很重要。新颖性是衡量创造力的一项标准指标，当前的创造力评估要求人类专家或 LLM 评判员对输出的新颖程度进行评分。然而，这些评分对于什么算作新颖（或者换句话说，对熟悉事物的偏离）没有固定的参照。衡量这种偏离需要一个具有已知熟悉默认值的任务。认知心理学中的结构化想象任务就是这样一个任务。在这项创造力测试中，人们想象一个来自另一个星球的生物。与地球动物特征（如两侧对称和以腿作为移动方式）的偏离程度被用作创造力的衡量标准。我们推出了 AlienBench，这是一个将结构化想象任务适配到语言模型的基准。模型描述外星生物，由三名 LLM 评判员组成的小组从描述中提取十个生物学特征，并将它们标记为地球典型特征或偏离特征。特征偏离的总和即为描述的得分，范围为 0 到 10。每个模型在六种提示条件下描述外星生物，这些条件改变了任务的框架和行星环境。每个模型在每种条件下生成 30 条描述（共 180 条），其总体得分是这些描述的平均值。我们评估了 10 个语言模型，从前沿模型到开放权重模型。总体得分范围从 3.28（GPT-6 Luna）到 6.55（Ministral 3 14B）。有趣的是，开放权重模型在这项任务中的得分高于专有模型（5.40 对 4.58）。在基线提示下，模型在每一个特征上平均比 100 名人类参与者更频繁地偏离地球默认值。我们发布了所有提示、生成内容、评判员输出和得分。
| 评论： | 21 页，2 幅图，13 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| ACM 分类： | I.2.7; I.2.0; J.4 |
| 引用为： | arXiv:2611.09094 [cs.CL] |
| （或 arXiv:2611.09094v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.09094 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jonas Oppenlaender [查看电子邮件]
[v1]
2026 年 11 月 6 日星期五 07:23:03 UTC（167 KB）
来源：arXiv cs.CL · arxiv.org