arXiv cs.CL· Antonio Puertas Gallardo, Mario Ceresa·· 10 小时前AI 评分31
No-Harm-Jury:面向医疗 AI 回答的陪审团式多维度危害评估框架
No-Harm-Jury A Jury-Based Multi-Dimensional Harm Evaluation Framework for Medical AI Responses
AI 导读
No-Harm-Jury 是一个陪审团式自动评估框架,用五个不同语言模型作为独立陪审员,从信息、社会、心理、自主性、经济、隐私和认知七个危害维度为 AI 医疗回答打分。
正文 · AI 翻译
摘要:我们提出 No-Harm-Jury,一个基于评审团的自动化评估框架,它使用由五个多样化语言模型组成的评审团作为独立评审员,从七个概念上不同的危害维度对 AI 生成的医学回答进行评分。由 Ministral-14B 针对取自 PubMedQA、MedQA 和 MedMCQA 的 3,000 个问题生成的回答,由五名评审员从信息、社会、心理、自主性、经济、隐私和认知危害等维度进行评分;151 个空回答(98 个 MedQA、53 个 MedMCQA)被排除,剩余 2,849 个有效样本。中位数聚合稳健地抑制了单个评审员的偏差,同时通过互补的专业化保持覆盖。现有系统均未同时具备 No-Harm-Jury 的全部五个特性:自动化可扩展评估、五个多样化 LLM 评审员、稳健的中位数聚合(以及可靠性加权扩展)、七个概念上不同的危害维度,以及在医学 QA 基准上的应用。
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2611.24972 [cs.CL] |
| (或 arXiv:2611.24972v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24972 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Antonio Puertas Gallardo [查看电子邮件]
[v1]
2026 年 11 月 16 日星期一 14:08:54 UTC(180 KB)
来源:arXiv cs.CL · arxiv.org