arXiv cs.CL· Yiheng Zhao, Mengzhuo Chen, Chengming Hu, Pengyi Liao, Yihan Huang, Yiran Pang·· 10 天前AI 评分12
如何衡量前沿 LLM 在自动化研究中的创造力
Measuring the Creativity of Frontier LLMs in Automated Research
AI 导读
一篇 arXiv 论文提出从价值与新颖性两个维度评估前沿 LLM 在自动化研究中的创造力，新颖性细分为 Exact-Match P-Novelty、Variable-level P-Novelty 和 H-Novelty 三项指标。
正文 · AI 翻译
本文已被 Mengzhuo Chen 撤回
摘要：前沿 LLM 越来越有能力开展自动化研究，但其在此情境下的创造力尚未得到系统性评估。我们提出了一组指标，从价值性和新颖性两个维度评估创造力。价值性评估每个所提出的想法是否有用，而新颖性则从三个角度进行评估：相同想法是否曾出现过（精确匹配 P-Novelty）、所修改的变量或变量组合是否曾被探索过（变量级 P-Novelty），这反映了研究空间探索的广度，以及所提出的想法在模型推理中是否被明确归因于外部知识（H-Novelty）。我们的评估表明，各模型在价值性和精确匹配 P-Novelty 得分上相对接近，而在变量级 P-Novelty 上差异显著。在可评估的模型中，H-Novelty 也始终较高。值得注意的是，进一步的相关性和想法级性能分析揭示，变量级 P-Novelty 与研究性能之间存在强正相关。
| 评论： | 在与我们的导师讨论后，我们得出结论，该稿件在公开发布之前需要进一步大幅改进。由于这些修订预计需要相当长的时间，我们希望暂时撤回当前版本，待工作得到实质性改进后，再重新提交一个更完整、更稳健的版本 |
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2609.14057 [cs.CL] |
| （或 arXiv:2609.14057v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.14057 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Mengzhuo Chen [查看电子邮件]
[v1]
2026年9月12日星期六 17:15:09 UTC（49 KB）
[v2]
2026年9月22日星期二 12:44:12 UTC（50 KB）
[v3]
2026年10月7日星期三 14:58:16 UTC（1 KB）（已撤回）
来源：arXiv cs.CL · arxiv.org