arXiv cs.CL· Alexey A. Bokov, Ivan I. Panin, Nikolay B. Nechaev, Mikhail Yu. Valkov, Valeria Yu. Chernina, Natalia Gombolevskaya, Ayyaz Hussain, Vladimir M. Agafonov, Victor A. Gombolevskiy, Aleksandr V. Nesterov, Iaroslav R. Bespalov, Ivan V. Oseledets, Dmitry V. Dylov·· 2 天前AI 评分24
AI Consilium：LLM 临床多学科二次意见基准
AI Consilium: a Benchmark of LLM Clinical Multidisciplinary Second Opinions
AI 导读
研究者构建了 AI Consilium 基准，用 300 个 NEJM-MedQA 病例（110 个用于医生参考评分与 Judge 校准，190 个用于留出评估）检验 LLM 的临床多学科二次意见能力。
正文 · AI 翻译
作者：Alexey A. Bokov、Ivan I. Panin、Nikolay B. Nechaev、Mikhail Yu. Valkov、Valeria Yu. Chernina、Natalia Gombolevskaya、Ayyaz Hussain、Vladimir M. Agafonov、Victor A. Gombolevskiy、Aleksandr V. Nesterov、Iaroslav R. Bespalov、Ivan V. Oseledets、Dmitry V. Dylov
摘要：大语言模型（LLM）可为复杂病例生成鉴别诊断，但有用的第二意见还必须具备事实依据、临床连贯性、可操作性和安全性。我们使用 300 个诊断已明确的 NEJM--MedQA 病例开发了一个多维基准：110 个用于医生参考评分和 Judge 校准，190 个用于留出评估。八种单模型流水线在自由形式和结构化临床推理条件下生成了独立的角色特定意见和交互式会诊报告。由医生校准的 LLM Judge 评估了 3,040 份最终报告以及相应的结构化主要角色输出。模型身份对报告质量的区分度强于回答格式。在八种模型流水线中的七种里，结构化最终报告的整体平均得分更高，其最明显的优势体现在管理方面（2.740 对 2.436）。与结构化会诊前主要角色意见相比，完整的结构化综合在所有五项共同标准上的汇总得分均更高，其中问题优先级排序、事实依据和推理连贯性的提升最大。GPT-5.6-Sol 在所有评估组件中均领先，并以最少的评审轮次达成共识。这些发现表明，该基准能够在同一常见病例评估中区分模型能力、多学科综合的贡献、回答结构的特定标准效应、审议动态以及推理需求。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.22298 [cs.CL] |
| （或使用 arXiv:2610.22298v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.22298 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
发件人：Aleksandr Nesterov [查看电子邮件]
[v1]
2026年10月15日星期四 17:46:37 UTC（124 KB）
来源：arXiv cs.CL · arxiv.org