arXiv cs.CL· Kento Haneda, Yosuke Kishinami, Ryo Fujii, Keisuke Sakaguchi, Makoto Morishita·· 12 小时前AI 评分31
WikiOriginQA:自动构建带知识来源的问答数据集,用于分析文化偏见
WikiOriginQA: Automated Construction of a QA Dataset with Knowledge Origins for Analyzing Cultural Bias
AI 导读
研究者提出 WikiOriginQA,通过不同 Wikipedia 语言版本的创建日期客观标注知识来源,自动构建带知识来源的问答数据集,无需人工标注。实验显示 LLM 表现倾向偏向英语圈文化,并表明知识向英语圈传播的重要性。该数据集已被 AACL-IJCNLP 2026 接收,可在多语言下以更高可扩展性开展文化偏见评估。
正文 · AI 翻译
摘要:现有的文化知识数据集通常由熟悉各文化的标注人员创建。然而,这一过程需要大量人力投入,在可扩展性方面构成显著挑战。为应对这一挑战,我们提出 WikiOriginQA,这是一个通过不同维基百科语言版本的创建日期客观表征知识起源而自动构建的问答数据集。使用所创建数据集进行的实验结果证实,LLM 的表现往往偏向英语圈文化。此外,结果还表明知识向英语圈传播的重要性。这些发现证明了我们自动化方法的有效性,使其无需大量人工标注即可在多种语言间以更高的可扩展性开展文化偏见评估。
| 评论: | 已被 AACL-IJCNLP 2026 接收(9 页,2 幅图,10 张表) |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2610.30677 [cs.CL] |
| (或 arXiv:2610.30677v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.30677 由 DataCite 颁发 arXiv DOI(待注册) |
提交历史
来自:Kento Haneda [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 03:42:37 UTC(559 KB)
来源:arXiv cs.CL · arxiv.org