arXiv cs.CL· Khaled Ziani·· 10 小时前AI 评分22
基于微调 Gemma-4-12B-it 的阿拉伯语伊斯兰问答幻觉检测与答案验证系统
Detecting Hallucinations and Recovering Verified Answers in Arabic Islamic Question Answering
AI 导读
针对 HalluScoring 2026 Task 2.1，该系统用微调后的 google/gemma-4-12B-it 模型配合确定性解码，在 600 条伊斯兰问答实例（341 条幻觉、259 条非幻觉）上实现幻觉检测 Macro-F1 0.928、标签准确率 0.935，答案选择准确率 0.895，综合得分 0.912。
正文 · AI 翻译
摘要：大型语言模型能够针对伊斯兰问题生成流畅的回答，但同时会引入难以识别的事实性错误。本文介绍了我们参加 \textsc{HalluScoring 2026} 任务 2.1（\textit{伊斯兰幻觉检测与真相查找}）的系统。该任务要求进行统一的两步预测：判断由 LLM 生成的阿拉伯语回答是否存在幻觉，并从六个密切相关的候选选项中选出经过验证的答案。我们使用该共享任务提供的伊斯兰知识数据集，其中包含 600 个问答实例，包括 341 个幻觉回答和 259 个非幻觉回答。我们的系统基于微调后的 \texttt{google/gemma-4-12B-it} 模型，并在推理过程中使用确定性解码。生成的输出经过归一化处理，以提取幻觉标签和所选选项。该系统在幻觉检测方面取得了 0.928 的 Macro-F1 分数和 0.935 的标签准确率，同时在答案选择方面取得了 0.895 的选项准确率。这些结果合计得到 0.912 的综合分数，表明在该任务的两个阶段均表现出色。较低的选项选择准确率表明，从看似合理的备选项中区分出经过验证的答案，仍然比检测幻觉回答更具挑战性。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2608.03720 [cs.CL] |
| （或 arXiv:2608.03720v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.03720 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Khaled Ziani [查看电子邮件]
[v1]
2026年8月4日星期二 14:19:53 UTC（13 KB）
[v2]
2026年11月10日星期二 06:36:06 UTC（13 KB）
来源：arXiv cs.CL · arxiv.org