arXiv cs.AI· Chayan Mondal, Duc-Son Pham, Tele Tan, Ashu Gupta, Vincent T. Y. Tiong, Shreya Ghosh, Tom Gedeon·· 1 天前AI 评分27
TransXplainRRG：经放射科医生评估的胸片报告生成 LVLM
TransXplainRRG: A Radiologist-Evaluated LVLM for Chest Radiograph Report Generation
AI 导读
TransXplainRRG 是一个结合 Swin Transformer 视觉编码器、文本编码器与 LLM 的胸片报告生成框架，可纳入患者病史并仅提取异常发现用于报告精修。
正文 · AI 翻译
摘要：大型视觉语言模型（LVLM）的最新进展增强了 X 射线报告生成能力，但往往忽视临床背景、忽略工作流整合，且缺乏可解释性，这因可解释性和可靠性方面的顾虑而阻碍了临床采用。本文针对临床 AI 应用中自动 X 射线报告生成所面临的双重挑战——性能与专家可解释性——展开研究。我们提出的方法 TransXplainRRG 利用现成的 Swin Transformer 模型以及一个基于 Transformer 的文本编码器，该编码器融合患者病史以生成放射学报告。此外，我们探索了一种专家引导的“由内而外”方法，仅提取异常发现用于放射学报告的精炼。因此，本研究通过结合最先进的基于 Transformer 的视觉编码器、文本编码器和 LLM，弥合了高性能自动化与临床实践所必需的可解释性之间的差距。TransXplainRRG 在大规模 MIMIC-CXR 数据集上进行了训练和测试，并进一步在未见过的 IU X-Ray 数据集上进行评估，以展示其泛化性和鲁棒性。我们采用 GREEN 指标作为临床一致性的补充度量，在 MIMIC-CXR 上取得 0.327 分，在 IU X-Ray 上取得 0.605 分，均高于 MAIRA-2 在相同评估设置下取得的分数。它在标准评估指标上也表现出竞争力，经常达到或超越最先进的模型。此外，我们引入了从放射科医生视角开发的定性评估指标，并对 100 份生成的报告进行了初步的放射科医生评估，以评估其临床相关性。定量和定性分析进一步证明了我们的 TransXplainRRG 框架在可靠且可解释的放射学报告生成方面的潜力。
| 评论： | 17 页，6 幅图，11 张表 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.16393 [cs.CV] |
| （或 arXiv:2611.16393v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16393 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Duc Son Pham [查看邮箱]
[v1]
2026 年 11 月 12 日星期四 07:05:39 UTC（4,956 KB）
来源：arXiv cs.AI · arxiv.org