arXiv cs.CL· Ron Keinan, Amir David Nissan Cohen, Reut Tsarfaty·· 11 小时前AI 评分22
HeRE：基于 LLM 引导的知识图谱对齐去噪构建希伯来语关系抽取基准
HeRE: A Novel Benchmark for Hebrew Relation Extraction via LLM-Guided Denoising of Knowledge Graph Alignments
AI 导读
研究者提出一种语言无关的可扩展方法，通过对知识库与文本的噪声对齐做去噪来构建关系抽取数据，并以 NLI 任务定义有效对齐，据此发布 150 万条实例的希伯来语关系抽取 silver 数据集 HeRE。
正文 · AI 翻译
摘要：尽管 LLM 在英语关系抽取（RE）任务中展现出强大能力，但由于缺乏标准化基准，在低资源语言中评估其 RE 性能仍存在显著差距。创建原生、特定语言的标注 RE 基准成本高昂且需要人工专业知识，而依赖翻译会产生次优、不准确的数据集，并引入以英语为中心的偏差。为解决这一问题，我们提出一种可扩展、语言无关的方法，通过对知识库与对应文本之间自然存在但含噪的对齐进行去噪来创建 RE 数据。我们通过自然语言推理（NLI）任务定义恰当的对齐，即输入文本蕴含一个关系三元组。我们实证评估了五种去噪策略，并证明在少样本 LLM 设置下，多语言模型优于特定语言模型，而希伯来语专用编码器在 NLI 微调下仍具竞争力，并在无标签交叉训练设置中表现最强。我们进一步发现，使用母语提示可达到与英语提示相当或略优的性能，证实该流程在目标语言中自然运行。最佳开源权重模型 Gemma-4-31B-it（F1\,=\,0.915）与最佳 API 模型 GPT-5.4（0.921）相当，并在完全留出的双标注测试集上达到 F1\,=\,0.844。应用优化后的流程，我们发布 HeRE：一个新颖、大规模、包含 150 万实例的希伯来语 RE 银数据集，旨在支持数据密集型实验和模型微调。HeRE 弥合了标准希伯来语 RE 评估中的关键差距，同时为 NLP 社区提供了一个可复现、语言无关的流程，用于在其他低资源环境中构建 RE 数据集。
| 评论： | 已被 AACL-IJCNLP 2026 接收 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.22542 [cs.CL] |
| （或 arXiv:2610.22542v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22542 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ron Keinan [查看电子邮件]
[v1]
2026年10月15日星期四 18:40:22 UTC（97 KB）
来源：arXiv cs.CL · arxiv.org