arXiv cs.AI· Wei-Wei Zhang, Pengkai Wang, Yan Li, Zhijie Sang, Guan-Qun Zhou, Jun-Yan Li, Shu-Han Zhou, Pei-Wen Liu, Ting-Xi Tang, Min Tang, Zhitian Hou, Jianmin Wu, Jian Guan, i Lin, Hongxia Yang, Ying Sun·· 14 小时前AI 评分42
NPC-RubricBench：面向鼻咽癌纵向诊疗全流程的 LLM 分阶段评估基准
Patient-specific rubric-based evaluation of large language models across longitudinal cancer care
AI 导读
研究者提出 NPC-RubricBench，一个以鼻咽癌为疾病场景、覆盖六个连续诊疗阶段的分阶段临床推理基准，基于两个癌症中心 405 名患者的纵向病历构建，含 941 个患者-阶段单元和 17,688 条患者特异性原子评分标准。
正文 · AI 翻译
作者：Wei-Wei Zhang、Pengkai Wang、Yan Li、Zhijie Sang、Guan-Qun Zhou、Jun-Yan Li、Shu-Han Zhou、Pei-Wen Liu、Ting-Xi Tang、Min Tang、Zhitian Hou、Jianmin Wu、Jian Guan、i Lin、Hongxia Yang、Ying Sun
摘要：大语言模型（LLM）在专科医学中展现出潜力，但现有评估大多聚焦于孤立的临床接诊环节，而非追踪临床职责在纵向诊疗路径中如何演变。为此，我们推出 NPC-RubricBench，这是一个阶段感知基准，用于评估贯穿癌症诊疗全流程的多阶段临床推理，并以鼻咽癌作为明确的疾病背景。该基准从两家癌症中心 405 名患者的纵向记录中整理而成，涵盖六个连续诊疗阶段的 941 个患者-阶段单元，以及跨五个评估维度的 17,688 条患者特异性原子标准，且每项评估严格限定于决策时点的临床证据。对 30 个通用及医学 LLM 的评估显示，强大的诊断表现并不能延续到下游诊疗。我们评估了 30 个通用及医学 LLM，结果表明高诊断表现并未转化为下游诊疗的改善。相反，主要失败模式在各阶段间发生反转。显式决策错误在解剖分期中占主导，达 48.2%，而决策遗漏在初始检查和治疗后随访中占主导，分别为 33.4% 和 30.4%。在受评估模型集中，医学适配模型的遗漏率高于通用模型。此外，查询粒度的变化揭示了一个关键的规格权衡：宽泛的开放式请求会降低全部 30 个模型的决策质量，而更详细、清单式的提示会提高决策质量，但会降低证据忠实度和安全依从性。此外，NPC-RubricBench 表明，静态诊断基准不足以确保随时间推移的一致临床可靠性，凸显了在多阶段医疗 AI 中采用阶段自适应保障措施的重要性。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.35847 [cs.AI] |
| （或 arXiv:2610.35847v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35847 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wang Pengkai [查看邮箱]
[v1]
2026 年 10 月 26 日星期一 17:56:26 UTC（1,287 KB）
来源：arXiv cs.AI · arxiv.org