arXiv cs.AI· Yang Ba, Michelle V. Mancenido, Rong Pan·· 3 天前AI 评分22
PLDiv：用持久景观度量数据集多样性与语义坍缩
PLDiv: Measuring Dataset Diversity and Semantic Collapse via Persistence Landscapes
AI 导读
研究者提出 PLDiv，一种基于持久景观（persistence landscapes）的多样性指标，从数据集的几何表示量化其结构组织，无需任务特定监督即可输出可解释的结构多样性标量。在文本生成与图像嵌入的内在多样性度量、以及指令数据集和推理轨迹的语义坍缩检测中，PLDiv 表现优于所评估的基线，并在语义坍缩时与多样性标签高度一致。该指标可支持合成数据监控、数据集构建、数据增强与生成模型评估。
正文 · AI 翻译
摘要：现代数据管道越来越多地将人类创建和人工整理的数据与 AI 生成的数据结合起来，用于模型训练和评估。随着数据集增长，它们往往添加语义上冗余的样本，而非扩展语义覆盖范围，这会降低整个数据集的质量。现有的多样性指标主要概括词汇变化、熵或成对相似度，但对底层数据分布形态的刻画有限。在本文中，我们提出 PLDiv，一种源自持久性景观的多样性指标，它从数据集的几何表示中量化其结构组织。PLDiv 概括了随着邻近样本逐步连接，数据邻域如何演变，从而产生一种可解释的结构多样性标量度量，且无需任务特定的监督。无论是衡量文本生成或图像嵌入中的内在多样性，还是检测指令数据集和推理轨迹中的语义坍缩，PLDiv 在评估基线中表现具有竞争力，并在语义坍缩期间与多样性标签高度一致。因此，它有效支持合成数据监控、数据集构建、数据增强和生成模型评估中的应用。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.14031 [cs.LG] |
| （或 arXiv:2610.14031v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14031 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yang Ba [查看电子邮件]
[v1]
2026年9月30日星期三 23:49:37 UTC（6,763 KB）
来源：arXiv cs.AI · arxiv.org