arXiv cs.CL· Christophe Khalil, Shady Elbassuoni, Rida Assaf·· 3 天前AI 评分27
ARAFA：LLM 生成的阿拉伯语事实核查数据集
ARAFA: An LLM-Generated Arabic Fact-Checking Dataset
AI 导读
研究团队发布 ARAFA，一个面向现代标准阿拉伯语的大规模事实核查数据集，通过 LLM 三步流水线构建，包含 181,976 个 claim-evidence 对，标注为 supported、refuted 或 not enough information。
正文 · AI 翻译
摘要：由于数据集和资源的稀缺，自动事实核查在阿拉伯语自然语言处理中是一项重大挑战。在本手稿中，我们介绍了 Arafa，这是一个用于现代标准阿拉伯语事实核查的新的大规模数据集，通过利用大型语言模型（LLM）的自动化框架构建。该数据集通过三步流程构建：（1）从阿拉伯语维基百科页面生成带有支持性文本证据的声明，（2）对声明进行变异以生成带有反驳证据的具有挑战性的反事实声明，以及（3）自动验证步骤，以验证生成的声明是由其伴随证据支持还是反驳，或者证据是否未提供足够信息来判断声明的有效性。所得数据集包含 181,976 个声明-证据对，标记为支持、反驳或信息不足。对数据集中的测试样本进行的人工评估显示，使用 Cohen's Kappa 对支持性声明（kappa = 0.89）和反驳性声明（kappa = 0.94）均具有较强的一致性。基于人工评估样本的自动验证对支持性声明达到 86% 的准确率，对反驳性声明达到 88%。为了展示 Arafa 作为阿拉伯语自动事实核查资源的价值，使用 Arafa 对四个基于 Transformer 的开源模型进行了微调，其中表现最佳的模型在测试数据上达到了 77% 的 Macro F1 分数。除了 Arafa 是首个用于阿拉伯语事实核查的大规模数据集之外，我们的框架还提出了一种可扩展的方法，用于为其他低资源语言开发类似资源。
| 主题： | 计算与语言（cs.CL）；信息检索（cs.IR） |
| 引用为： | arXiv:2609.25833 [cs.CL] |
| （或 arXiv:2609.25833v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.25833 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Christophe Khalil [查看电子邮件]
[v1]
2026年9月22日星期二 07:59:16 UTC（1,334 KB）
[v2]
2026年10月14日星期三 06:52:02 UTC（1,334 KB）
来源：arXiv cs.CL · arxiv.org