AfrIFact:面向非洲语言的文化信息检索、证据抽取与事实核查数据集
AfrIFact: Cultural Information Retrieval, Evidence Extraction and Fact Checking for African Languages
研究者发布 AfrIFact 数据集,覆盖信息检索、证据抽取与事实核查全流程,涵盖十种非洲语言和英语。评测显示最好的嵌入模型也缺乏跨语言检索能力,LLM 在非洲语言上的多语言事实核查能力不足,few-shot 提示让 AfriqueQwen-14B 提升最多 43%,任务微调再提升事实核查准确率最多 26%。
作者:Israel Abebe Azime、Jesujoba Oluwadara Alabi、Crystina Zhang、Iffat Maab、Atnafu Lambebo Tonja、Tadesse Destaw Belay、Folasade Peace Alabi、Salomey Osei、Saminu Mohammad Aliyu、Nkechinyere Faith Aguobi、Bontu Fufa Balcha、Blessing Kudzaishe Sibanda、Davis David、Mouhamadane Mboup、Daud Abolade、Neo Putini、Philipp Slusallek、David Ifeoluwa Adelani、Dietrich Klakow
摘要:评估网上所提出主张的真实性是一项复杂而重要的任务,具有现实世界的影响。当这些主张针对信息获取渠道有限的社区,且内容涉及医疗保健和文化等议题时,其后果会更加严重,在低资源语言中尤其如此。在这项工作中,我们推出了 AfrIFact,这是一个涵盖自动事实核查必要步骤(即信息检索、证据提取和事实核查)的数据集,包含十种非洲语言和英语。我们的评估结果表明,即使是最好的嵌入模型也缺乏跨语言检索能力,而且无论是在大型语料库还是单一文档中,文化和新闻类文档都比医疗保健领域的文档更容易检索。我们表明,LLM 在非洲语言中缺乏稳健的多语言事实核查能力,而少样本提示可将 AfriqueQwen-14B 的性能提升高达 43%,针对特定任务的微调可进一步将事实核查准确率提升高达 26%。这些发现以及我们发布的 AfrIFact 数据集,将鼓励针对低资源信息检索、证据检索和事实核查开展进一步研究。
| 评论: | 已被 2026 年自然语言处理经验方法会议(EMNLP 2026)接收 |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2604.00706 [cs.CL] |
| (或 arXiv:2604.00706v3 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2604.00706 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Israel Abebe Azime [查看电子邮件]
[v1]
2026 年 4 月 1 日星期三 10:08:37 UTC(2,950 KB)
[v2]
2026 年 4 月 29 日星期三 14:10:39 UTC(2,950 KB)
[v3]
2026 年 10 月 21 日星期三 10:50:09 UTC(1,295 KB)
来源:arXiv cs.CL · arxiv.org