跳到正文
arXiv cs.CL· Antonio Puertas Gallardo, Mario Ceresa·· 10 小时前AI 评分31

No-Harm-Jury:面向医疗 AI 回答的陪审团式多维度危害评估框架

No-Harm-Jury A Jury-Based Multi-Dimensional Harm Evaluation Framework for Medical AI Responses

AI 导读

No-Harm-Jury 是一个陪审团式自动评估框架,用五个不同语言模型作为独立陪审员,从信息、社会、心理、自主性、经济、隐私和认知七个危害维度为 AI 医疗回答打分。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:我们提出 No-Harm-Jury,一个基于评审团的自动化评估框架,它使用由五个多样化语言模型组成的评审团作为独立评审员,从七个概念上不同的危害维度对 AI 生成的医学回答进行评分。由 Ministral-14B 针对取自 PubMedQA、MedQA 和 MedMCQA 的 3,000 个问题生成的回答,由五名评审员从信息、社会、心理、自主性、经济、隐私和认知危害等维度进行评分;151 个空回答(98 个 MedQA、53 个 MedMCQA)被排除,剩余 2,849 个有效样本。中位数聚合稳健地抑制了单个评审员的偏差,同时通过互补的专业化保持覆盖。现有系统均未同时具备 No-Harm-Jury 的全部五个特性:自动化可扩展评估、五个多样化 LLM 评审员、稳健的中位数聚合(以及可靠性加权扩展)、七个概念上不同的危害维度,以及在医学 QA 基准上的应用。
主题: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2611.24972 [cs.CL]
  (或 arXiv:2611.24972v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24972

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Antonio Puertas Gallardo [查看电子邮件]
[v1] 2026 年 11 月 16 日星期一 14:08:54 UTC(180 KB)

来源:arXiv cs.CL · arxiv.org