arXiv cs.CL· Louis Est\`eve, Marie-Catherine de Marneffe, Nurit Melnik, Agata Savary, Olha Kanishcheva·· 11 小时前AI 评分20
NLP 多样性量化综述：为何、测什么、在哪测与怎么测
A survey of diversity quantification in natural language processing: The why, what, where and how
AI 导读
一项综述梳理 ACL Anthology 上 300 余篇多样性相关论文，提出面向 NLP 的四视角框架：为何重视多样性、测什么、在哪测、怎么测。研究发现 richness（最简单的 variety）与 distance averaging（最简单的 disparity）是最常见的度量族，纯 balance 度量几乎缺席，且 NLP 中半数度量不符合 Stirling 框架。
正文 · AI 翻译
摘要：近年来，多样性这一概念在自然语言处理（NLP）领域受到越来越多的关注。它成为数据集和系统所倡导的一种特性，人们使用许多度量指标来量化它，但不同论文之间也存在许多不一致之处。为解决这种碎片化问题，我们从其他对多样性进行了更系统概念化的科学领域汲取灵感。我们基于（Sarkar, 2010）和（Stirling, 2007）这两项受生态学、经济学及其他领域启发而提出的跨领域统一框架展开研究。前者主张对支持多样性的理由进行明确论证。后者区分了多样性的三个维度：种类、平衡和差异。在调查了 ACL Anthology 中 300 多篇近期与多样性相关的论文后，我们提出了一个 NLP 专用框架，包含 4 个视角：多样性为何重要、多样性在什么对象上度量、在哪里度量以及如何度量。我们发现，在 NLP 中，丰富度（最简单的种类）和距离平均（最简单的差异）是最普遍的度量类别，而纯粹的平衡度量几乎不存在。此外，NLP 中使用的度量有一半不符合 Stirling 的框架。我们的分析提高了 NLP 中多样性研究方法的可比性，使我们能够为该领域提出建议。我们建议该领域系统地使用统一的术语，并就多样性度量的理想特性以及其使用背后的规范性假设展开讨论。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2507.20858 [cs.CL] |
| （或 arXiv:2507.20858v4 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2507.20858 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Louis Estève [查看邮箱]
[v1]
2025年7月28日 星期一 14:12:34 UTC（81 KB）
[v2]
2025年12月15日 星期一 11:50:31 UTC（93 KB）
[v3]
2026年3月13日 星期五 15:27:09 UTC（262 KB）
[v4]
2026年10月23日 星期五 08:31:38 UTC（406 KB）
来源：arXiv cs.CL · arxiv.org