arXiv cs.CL· Fabrice Lamarche, Gaya Mehenni, Neshat Elhami Fard, Odette Rios-Ibacache, Li Ming Wang, John Kildea, Amal Zouaq·· 11 小时前AI 评分31
MedHal:用于医疗幻觉检测的大规模合成数据集
MedHal: a Synthetic Dataset for Medical Hallucination Detection
AI 导读
MedHal 是一个大规模合成数据集,专门用于评估和训练医疗文本中的幻觉检测模型,覆盖内在与外在两类幻觉并整合多样医疗文本来源。基于该数据集训练的基线医疗幻觉检测模型优于通用幻觉检测方法,可减少对昂贵专家审核的依赖。
正文 · AI 翻译
摘要:幻觉,即 AI 系统生成不符合事实的内容,在医疗场景中会带来严重风险,因为错误可能直接影响患者结局。我们提出 MedHal,这是一个大规模数据集,专门用于评估能力并训练模型完成医学文本中的幻觉检测任务。当前的幻觉检测方法在应用于医学等专业领域时面临显著局限,而这些领域的错误可能造成灾难性后果。MedHal 通过纳入多样化的医学文本来源和覆盖内在幻觉与外在幻觉的任务,并提供大量适合训练医学幻觉检测模型的数据样本,解决了这一问题。我们通过训练并评估一个基线医学幻觉检测模型,展示了 MedHal 的实用性,结果表明其优于通用幻觉检测方法。该资源能够更高效地评估和训练医学文本生成系统,同时减少对昂贵专家评审的依赖,有望加速医学 AI 研究的发展。
| 评论: | 第 5 届亚太计算语言学协会年会暨第 15 届国际自然语言处理联合会议,2026 年 11 月 6-10 日,中国横琴 |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| ACM 分类: | I.2.7 |
| 引用为: | arXiv:2504.08596 [cs.CL] |
| (或本版本使用 arXiv:2504.08596v4 [cs.CL]) | |
| https://doi.org/10.48550/arXiv.2504.08596 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Gaya Mehenni [查看邮箱]
[v1]
2025 年 4 月 11 日星期五 14:55:15 UTC(243 KB)
[v2]
2025 年 10 月 7 日星期二 15:40:54 UTC(189 KB)
[v3]
2026 年 9 月 25 日星期五 01:33:25 UTC(58 KB)
[v4]
2026 年 10 月 20 日星期二 00:20:06 UTC(58 KB)
来源:arXiv cs.CL · arxiv.org