arXiv cs.CL· Federica Bologna, Jean-Philippe Corbeil, Matthew Wilkens, Asma Ben Abacha·· 2 天前AI 评分22
面向跨模态与跨解剖部位的放射学报告评估：更对齐的 LLM 评判模型研究
Towards Better Aligned LLM Judges for Radiology Report Evaluation across Modalities and Anatomies
AI 导读
研究系统评估了 LLM 作为放射学报告评判模型在多种成像模态和解剖部位上的表现，提出新指标 VERT，其与放射科医生判断的 Kendall 相关性较 GREEN 最高提升 26%。在现有指标中 GREEN 最稳健；对 Qwen3-30B 进行集成和轻量微调分别带来最高 9.9% 和 25% 的提升，后者延迟降低 37.2 倍。误差分析显示这些指标虽整体与专家评分相关，但易在遗漏类错误上计数失准。
正文 · AI 翻译
摘要：当前放射学报告评估的工作主要集中于针对胸部 X 光片（CXR）的基于 LLM 的指标，尚不清楚此类方法在其他模态和解剖结构上是否仍然稳健，以及哪种模型和提示配置最适合作为 LLM 评判者。我们对用于放射学报告评估的 LLM 评判者进行了全面评估，涵盖多种模型家族、提示策略和适配方法，并利用了两个专家标注数据集，其覆盖多种成像模态和解剖区域。具体而言，我们将四种现有指标（RadFact、GREEN、FineRadScore 和 CRIMSON）与我们提出的指标 VERT 进行比较，涵盖不同规模和推理能力的开源与闭源模型。在现有指标中，GREEN 被证明最为稳健，优于更近期的 CXR 专用方法。VERT 进一步将与放射科医生判断的 Kendall 相关性较 GREEN 提升最多 26%，而 Qwen3-30B 的集成和轻量微调分别带来最多 9.9% 和 25% 的提升，其中后者还将延迟降低 37.2 倍。系统性错误分析进一步表明，尽管这些指标总体上与专家评分相关，但它们往往会错误计算诸如遗漏之类的错误。总体而言，我们的结果表明，精心选择的通用 LLM 评判者能够在各模态上提供强有力的放射学报告评估，而在有标注数据可用时，轻量适配可带来互补收益。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2604.03376 [cs.AI] |
| （或此版本的 arXiv:2604.03376v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2604.03376 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Federica Bologna [查看电子邮件]
[v1]
2026年4月3日星期五 18:10:21 UTC（1,287 KB）
[v2]
2026年10月14日星期三 18:45:08 UTC（1,583 KB）
来源：arXiv cs.CL · arxiv.org