arXiv cs.AI· Dianye Huang, Jiamei Guo, Yue Zhou, Mingde Li, Yi Xiong, Wei Wang, Nassir Navab, Zhongliang Jiang·· 11 小时前AI 评分27
HAD-VLM：在医学视觉语言模型中用扩散预测保留数值连续性
Beyond Discrete Tokens: Preserving Numerical Continuity in Medical Vision-Language Models
AI 导读
HAD-VLM 提出混合自回归-扩散框架，在共享骨干内结合文本生成与连续测量预测，用扩散过程输出包含卡尺端点坐标与测量长度的五分量表示。
正文 · AI 翻译
摘要：目的：开发一个统一的视觉-语言模型，用于提示条件驱动的定量超声测量，以解决连续测量目标与基于离散 token 的数值预测之间的不匹配问题。方法：本文提出 HAD-VLM，一种混合自回归-扩散框架，在共享骨干网络内将自回归文本生成与连续测量预测相结合。视觉提示调优使视觉编码器适配超声图像。扩散过程预测由卡尺端点坐标和测量长度组成的五分量表示。引入一种后处理策略，将所提出的坐标-长度一致性机制与集成预测相结合，以细化测量估计。我们在 EchoNet-LVH 上评估四项超声心动图测量任务，并额外评估医学问答和 X 射线椎体测量。结果：HAD-VLM 在 IVSd、LVIDd、LVIDs 和 LVPWd 上的平均绝对误差分别为 1.36、2.77、3.05 和 1.16 mm，相对于基于 Vicuna 的自回归基线将误差降低了 21.4-37.6\%。它在全部四项任务上也优于微调的 Qwen3-VL 和直接 MLP 回归。在所评估的数据集上，医学问答性能得以保持。对于 X 射线椎体测量，HAD-VLM 将平均绝对误差从 11.4 像素降低到 6.7 像素。结论：将自回归语言生成与基于扩散的连续预测相结合，可改善定量医学图像测量，同时保留提示条件驱动的任务灵活性。意义：HAD-VLM 提供了一种统一方法，将语言交互与具有解剖学依据的数值预测相结合，用于定量医学图像分析。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.32948 [cs.CV] |
| （或 arXiv:2610.32948v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32948 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Dianye Huang [查看邮箱]
[v1]
2026 年 10 月 23 日星期五 17:40:58 UTC（2,462 KB）
来源：arXiv cs.AI · arxiv.org