arXiv cs.CL· Ramya Namuduri, Manya Wadhwa, Anshun Asher Zheng, Greg Durrett, Junyi Jessy Li·· 12 小时前AI 评分31
GENIE：面向任务特定特征的细粒度新颖性度量指标
GENIE: A Fine-Grained Measure for Novelty
AI 导读
研究者提出细粒度评估指标 GENIE，按任务特定特征衡量模型回复相对于回复群体的新颖性。与 GENIE 不同，整体性指标难以捕捉新颖性的高维特性，也无法说明其针对哪些属性。GENIE 还被用于评估针对创造力的缓解方法在哪些方面能提升新颖性，该工作已被 EMNLP 主会接收。
正文 · AI 翻译
摘要：大型语言模型在各类任务中始终表现出缺乏创造力和多样性。此前的工作主要关注模型是否有能力生成有创造性的输出。本文旨在考察新颖性，并以任务特定的方式探究是什么使模型生成的内容新颖或不新颖。我们提出了一种细粒度评估指标 GENIE，用于针对一组响应群体，沿任务特定特征衡量响应的新颖性。我们表明，与 GENIE 不同，整体性指标难以捕捉新颖性的高维特性，也无法说明它们针对的是哪些属性。最后，我们使用 GENIE 来衡量针对创造力问题的缓解方法的有效性，以更好地理解这些方法能在何处提升新颖性。
| 评论： | 已被 EMNLP 主会议接收（2026） |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.12790 [cs.CL] |
| （或 arXiv:2606.12790v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.12790 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ramya Namuduri [查看邮箱]
[v1]
2026年6月11日星期四 01:14:10 UTC（3,416 KB）
[v2]
2026年10月21日星期三 17:23:27 UTC（3,407 KB）
来源：arXiv cs.CL · arxiv.org