arXiv cs.AI· Berke Arda, Ahmetcan Yavuz, Paul Gerry, Sebastian Lobentanzer, Nobin Sarwar, Joan Giner-Miguelez, Kongtao Chen, Luyao Zhang, Mrinmaya Sachan, Mubashara Akhtar·· 10 天前AI 评分23
CroissantMiner：面向 ML 数据集的 Croissant 元数据自动抽取与验证
CroissantMiner: Automated Extraction and Validation of Croissant Metadata for ML Datasets
AI 导读
研究团队发布首个可端到端评估 Croissant 元数据抽取的基准，含 602 篇论文（102 篇人工验证金标注、500 篇 LLM 生成银标注），覆盖核心与 RAI 字段。评测显示单次全上下文抽取一致优于所评估的四种智能体架构，长文本 RAI 字段差距最大。基准、评测代码、评审审计、在线 demo 与排行榜均已开放。
正文 · AI 翻译
摘要：Croissant 已成为机器可读数据集元数据的标准，但填充其字段仍然耗费大量人力，并且需要仔细阅读随附的数据集文档。我们提出了首个基准，能够对与社区标准模式对齐的元数据提取进行端到端评估。该基准包含 602 篇论文，其中 102 篇具有人工验证的金标注，500 篇具有 LLM 生成的银标注，覆盖完整的 Croissant 模式，包括核心字段和负责任 AI（RAI）字段。利用该基准，我们在一个双层评估框架下评估了一系列提取系统，涵盖前沿模型、开放权重模型和智能体架构，该框架将基于规则的评分与经人工审核选出的 LLM 评判器相结合。我们发现，单次提取始终优于我们评估的四种智能体架构：在各骨干模型上，这些分解变体的准确率均低于单次全上下文提取。最大的差距出现在长文本 RAI 字段上，这些字段需要综合和解释散布在论文各处的信息，而不是从单一位置复制信息，在这一场景下当前系统仍远未达到可靠。我们发布了该基准、评估代码、评判器审核、在线演示，以及一个对新系统开放的排行榜。
| 评论： | 已被 NeurIPS 2026 接收（评估与数据集方向）。网站：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；数字图书馆（cs.DL）；信息检索（cs.IR）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.07132 [cs.CL] |
| （或 arXiv:2610.07132v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07132 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Berke Arda [查看电子邮件]
[v1]
2026 年 10 月 5 日星期一 17:59:48 UTC（1,403 KB）
来源：arXiv cs.AI · arxiv.org