arXiv cs.CL· Yichen Wang, Tenghao Huang, Vishakh Padmakumar, Mina Lee·· 6 天前AI 评分31
通过长尾表现评估 LLM 创造力
Evaluating LLM Creativity through Long-Tail Performance
AI 导读
研究提出以参考输入输出分布长尾中的任务特定表现来形式化 LLM 创造力，并用预训练数据中 n-gram 缺失作为新颖性代理，在 15 个基准和 26 个开源权重模型上验证。结果显示创造力基准比标准基准更靠近尾部区域，且各基准更高尾部子集给出的模型排名与 LM-Arena 中人类创造力判断更一致。研究据此提出低成本诊断指标 q@Tail(α)，测量现有基准尾部区间的平均任务质量。
正文 · AI 翻译
摘要：大型语言模型（LLM）的创造力基准在任务和指标设计上差异很大。这引出了一个问题：它们是否捕捉到了共同的创造力概念。我们提出，这一共同目标可以被形式化为参考输入-输出分布长尾中的任务特定性能，该分布描述了相对于所选文本来源，输入-输出对有多常见。我们将这一命题建立在新颖性-质量乘积公式之上，并在 15 个基准和 26 个开放权重模型上进行了实证评估，使用预训练数据中 n-gram 的缺失作为新颖性代理。我们的结果表明，创造力基准比标准基准更位于尾部区域。此外，在创造力基准和标准基准上，来自每个基准更高尾部子集的模型排名与 LM-Arena 中的人类创造力判断更一致。基于这些发现，我们引入了 q@Tail($\alpha$)，一种成本更低的创造力诊断方法，用于衡量现有基准尾部部分的平均任务质量。将其应用于促进创造力的方法后，发现通过更强的尾部性能来提升 LLM 创造力仍有很大空间。
| 评论： | 26 页，包括参考文献和附录。代码和数据：this https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.12998 [cs.CL] |
| （或 arXiv:2610.12998v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.12998 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yichen Wang [查看电子邮件]
[v1]
2026年10月9日星期五 05:03:18 UTC（2,947 KB）
来源：arXiv cs.CL · arxiv.org