arXiv cs.CL· Haris Ghafoor, Minjee Seo, Seonaeng cho, Keungmo Yang, Jaejun Lee, Kyungho Yoon·· 10 小时前AI 评分31
SMILE：面向肝脏超声理解的结构化多智能体临床推理框架
SMILE: A Structured Multi-Agent Clinical Reasoning for Liver Ultrasound Understanding
AI 导读
SMILE 是一个结构化多智能体临床推理框架，用图像解读、临床分期推理和 VQA 三个专家智能体分别解读肝脏超声图像，再由 judge VLM 以共识过滤提示词汇总为统一输出。在公开肝脏超声数据集和内部临床数据集上，SMILE 的 ROUGE-1 最高提升 19.0%、临床 F1 提升 18.8%，VQA F1 分别达 0.82 和 0.65。模型、数据集与代码已公开。
正文 · AI 翻译
摘要：自动化肝脏超声报告生成通过对解剖和疾病相关发现生成临床结构化的描述，从而改善肝脏疾病的诊断。然而，当前的生成式视觉语言模型（VLM）通常依赖单一的推理路径，将超声表现直接映射为文本描述。除了固有的视觉-语言模态差距外，这种设计对肝脏超声而言也存在局限，因为疾病解读受制于细微的视觉证据、异质的疾病模式以及有限的配对监督。为解决这些局限，我们提出 SMILE，一个结构化多智能体临床推理框架，它使用多个互补的专家智能体来解读超声图像，并通过裁判引导的共识机制整合其输出。我们的方法采用三个专门的智能体：一个用于形态描述的图像解读智能体、一个临床阶段推理智能体，以及一个用于定向查询的视觉问答（VQA）智能体。随后，这些智能体的回答由裁判 VLM 使用共识过滤提示进行汇总和审查，以生成统一、临床连贯的输出。在一个公开肝脏超声数据集和一个内部临床数据集上，SMILE 始终优于最先进的 VLM，在 ROUGE-1 上最高提升 19.0\%，在临床 F1 分数上提升 18.8\%，同时在公开和内部数据集上分别达到 0.82 和 0.65 的 VQA F1 分数。这些结果展示了 SMILE 在数据稀缺和有限监督临床环境中的潜力。我们的模型、数据集和代码可在 \href{此 https URL}{此处} 获取。
| 评论： | 已被 2027 年计算机视觉应用冬季会议（WACV）接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.02581 [cs.CV] |
| （或 arXiv:2611.02581v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.02581 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Haris Ghafoor [查看电子邮件]
[v1]
2026 年 11 月 2 日星期一 06:05:38 UTC（1,900 KB）
来源：arXiv cs.CL · arxiv.org