arXiv cs.CL· Joey Guo, Rayan Ansari, Alaa Youssef·· 10 小时前AI 评分40
CheXPoT：对 VLM 生成的放射科报告进行事后视觉验证与纠正
CheXPoT: Post-Hoc Visual Verification and Correction of VLM-Generated Radiology Reports
AI 导读
CheXPoT 是一个程序化思维（PoT）框架，可逐条核验 VLM 生成的放射科报告发现是否有图像依据，并删除无法被图像支撑的内容。在 4,145 张图像的留出集上，MedGemma-4B 接入后微平均精确率从 19.2% 升至 46.8%，微平均 F1 从 23.0% 升至 49.4%；LLaVA-Med 和 MAIRA-2 上同样有提升。
正文 · AI 翻译
摘要：视觉语言模型（VLM）在胸部 X 光片报告生成方面已展现出前景，但由于存在未基于图像的幻觉发现，其应用仍然有限。纠正这些幻觉并提升整体报告质量仍是一项重大挑战。此前的工作通过强化学习、偏好优化或思维链监督来改进模型，以解决这一问题，但通常计算成本高昂。为弥补这一空白，我们提出了 CheXPoT，一个思维程序（PoT）框架，它针对图像特征验证每条生成的发现，并移除无法得到图像支持的发现。CheXPoT 使用 RadGraph 和 LLM 将生成的报告分解为谓词，将这些谓词与 DenseNet-121 和 Grad-CAM 视觉证据表进行匹配验证，执行 PoT 验证代码，并在移除不受支持的谓词后重写报告。在包含 4,145 张图像的留出集上，CheXPoT 在 14 个 CheXpert 类别中的 8 个上取得了统计显著的精确率提升，在 5 个类别上取得了 F1 提升，且两项指标均无显著下降。CheXPoT 将微平均精确率从 19.2%（MedGemma-4B）提升至 46.8%（MedGemma-4B + CheXPoT），将微平均 F1 从 23.0% 提升至 49.4%，绝对提升分别为 27.6% 和 26.4%。我们还在其他 VLM 报告生成器上测试了 CheXPoT。在 LLaVA-Med 上，CheXPoT 将微平均精确率从 4.5% 提升至 17.7%，将微平均 F1 从 6.3% 提升至 19.4%。在 MAIRA-2 上，CheXPoT 将微平均精确率从 15.6% 提升至 42.1%，将微平均 F1 从 21.0% 提升至 45.3%。我们的结果表明，低成本的事后视觉验证可以通过纠正生成报告中不受支持的发现，提升 VLM 的可信度。CheXPoT 为帮助验证 VLM 生成的放射学报告并减少不受支持的发现的工具奠定了基础。这些创新随后可能有助于提升 VLM 工具在医学领域的信任度和采用率。
| 评论： | 15 页，12 张图 |
| 主题： | 计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2611.00785 [cs.CL] |
| （或 arXiv:2611.00785v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00785 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Joey Guo [查看邮箱]
[v1]
2026 年 10 月 31 日星期六 09:57:35 UTC（1,352 KB）
来源：arXiv cs.CL · arxiv.org