arXiv cs.CL· Dayam Nadeem, Safdar Mustafa, Ameen Ur Rehman, Shahab Saquib Sohail, Mohammad Nadeem, Usman Naseem·· 10 小时前AI 评分34
开放权重 LLM 圣训复述双语幻觉基准：3 万条回答无一精确匹配
They Know Where It Is, But Not What It Says: A Bilingual Hallucination Benchmark of Hadith Recall in Open LLMs
AI 导读
一项双语（英语/阿拉伯语）基准测试了 Mistral-7B、Gemma3-4B、Jais-7B、ALLaM-7B 和 Phi4-mini-3.8B 五款开放权重模型对六大逊尼派圣训集（每集 500 条、每模型每语言 3000 条，共 30000 条回答）的精确复述能力，结果 0% 的回答同时达到高词汇保真度（BLEU）与高语义保真度。
正文 · AI 翻译
摘要：大语言模型越来越多地被用于查询宗教知识，包括回忆特定的圣训（先知穆罕默德——愿主福安之——的言行记录）。与开放式生成不同，圣训回忆是一项高风险、可验证的任务：一个引用（所属集、章节和圣训编号）只对应唯一正确的文本，任何偏离都构成伪造，可能被误认为真正的经文。本研究引入了一个双语（英语/阿拉伯语）基准，测试五个开放权重、可本地部署的语言模型（Mistral-7B、Gemma3-4B、Jais-7B、ALLaM-7B 和 Phi4-mini-3.8B），覆盖全部六部逊尼派正典圣训集（《布哈里圣训实录》《穆斯林圣训实录》《阿布·达乌德圣训集》《提尔密济圣训集》《奈萨仪圣训集》《伊本·马哲圣训集》），每部集抽取 500 条圣训（每个模型每种语言 3,000 条，共 30,000 条回复）。每个模型仅获得书目引用，并被要求复现准确的圣训文本，不使用检索增强，并按词汇保真度（BLEU）和语义保真度（多语言余弦相似度）评分，拒绝回答的情况单独标记。在所有五个模型和两种语言中，30,000 条回复中有 0% 同时达到高词汇保真度和高语义保真度，即与源文本完全一致、可验证的匹配。阿拉伯语回复的表现普遍比英语更差。这些发现表明，当前开放权重的 LLM 在无检索依据的情况下使用时，作为精确宗教文本回忆的来源不可靠且可能具有危险性，为伊斯兰学术研究部署此类模型应强制要求在经过验证的语料库上使用检索增强生成，而非参数化记忆。完整代码、提示词、评估流程和评分输出已在此 https URL公开。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.02587 [cs.CL] |
| （或 arXiv:2611.02587v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02587 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Shahab Saquib Sohail 博士 [查看电子邮件]
[v1]
2026年11月2日星期一 06:12:57 UTC（24,760 KB）
来源：arXiv cs.CL · arxiv.org