arXiv cs.CL· Sabah Nushra, Md Kishor Morol·· 10 小时前AI 评分38
BILAL-BENCH：开放语言模型会在孟加拉语中编造伊斯兰教义来源吗
Do Open Language Models Invent Scripture? BILAL-BENCH: Benchmarking Islamic-Source Fabrication in Bengali
AI 导读
研究者推出 BILAL-BENCH，一个 240 题、专家核验的孟加拉语开放式伊斯兰来源编造基准，覆盖《古兰经》归属、圣训、教法、当代议题与对抗性虚假前提提示。
正文 · AI 翻译
摘要：当语言模型编造古兰经经文或圣训时，它便为读者可能视为神圣的文本赋予了虚假的权威。现有的伊斯兰幻觉基准大多为阿拉伯语且多为封闭式，而孟加拉语资源主要研究通用领域的幻觉或事实性知识。我们推出 BILAL-BENCH，一个包含 240 个问题、经专家验证的基准，用于评估孟加拉语中开放式伊斯兰来源的编造问题。它涵盖古兰经归属、圣训、教法、当代议题以及对抗性虚假前提提示，并采用双轴评分标准，将来源错误与断言强度区分开来。我们在 1,680 条双重标注的回复上评估了七个开放权重模型（参数量从 1B 到 120B）。七个模型中有六个在 79.3% 至 95.3% 的来源生成类问题上自信地编造内容，且未随规模增大而单调改善。圣训出处是所有模型中最弱的类别：315 条回复中仅两条正确且来源正确。两个 8B 的 BanglaLLaMA 变体自信编造率相近，但错误特征不同。模型在是否对无法支持的断言予以保留方面的差异，远大于在来源准确性方面的差异：在整个基准中，适当弃答或纠正虚假前提的回复数从 6 条到 46 条不等，且与参数数量无关。
| 评论： | 15 页，6 张表。已被 NeurIPS 2026 第七届 Muslims in ML（MusIML）研讨会接收。代码与数据集：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.40996 [cs.CL] |
| （或 arXiv:2610.40996v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40996 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sabah Nushra [查看邮箱]
[v1]
2026 年 10 月 29 日星期四 21:25:31 UTC（79 KB）
来源：arXiv cs.CL · arxiv.org