arXiv cs.AI· Hongyu Cao, Guangfu Guo, Jinghan Zhang, Dakshak Keerthi Chandra, Ying Zhang, Kunpeng Liu·· 11 小时前AI 评分24
GENIQ:用文本到图像生成器自身生成的图像查询皮肤病变分割
Segment What It Can Draw: Querying a Text-to-Image Generator with Its Own Images for Skin Lesion Segmentation
AI 导读
GENIQ 是一种无需训练的方法,利用文本到图像扩散 Transformer 自身生成的健康皮肤与病变图像构建原型方向,再用未标注皮肤镜图像中最像皮肤和病变的图块精炼,从而在无标注掩码条件下完成皮肤病变分割。该方法在三个皮肤镜测试集上取得 0.85-0.88 的 Dice 分数,全部优于零样本与基于词注意力方法,并在其中两个集上的 Dice 和 IoU 超过手工设计的皮肤镜流程。
正文 · AI 翻译
摘要:无标注掩码的皮肤病变分割需要通过其他线索指定目标。现有方法依赖皮肤镜专用规则、由标注衍生的模型先验或用户选定的区域。通用的文本到图像扩散 Transformer 提供了面向目标的文本接口,但其概念词注意力在皮肤镜图像上并不可靠:在模型的注意力输出空间中,由词导出的皮肤到病变方向与区分真实皮肤和真实病变的方向对齐不佳。我们表明,由生成健康皮肤和病变图像导出的方向对齐程度显著更好。基于这一发现,我们提出 GENIQ,一种免训练方法,它从生成图像中构建初始皮肤和病变原型,并利用未标注皮肤镜图像中最像皮肤和最像病变的图块对其进行细化。它沿细化后的方向对测试图块打分,并应用门控阈值以抑制小病变周围的上下文溢出。无需推理时标注或额外模型,GENIQ 在三个皮肤镜测试集上取得 0.85-0.88 的 Dice 分数。它在全部三个测试集上优于零样本和基于词注意力的方法,并在其中两个测试集上的 Dice 和 IoU 上优于手工设计的皮肤镜流程。
| 主题: | 计算机视觉与模式识别 (cs.CV);人工智能 (cs.AI) |
| ACM 分类: | I.4.6; I.2.10 |
| 引用为: | arXiv:2611.07061 [cs.CV] |
| (或 arXiv:2611.07061v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.07061 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Hongyu Cao [查看邮箱]
[v1]
2026年11月4日星期三 19:20:08 UTC (643 KB)
来源:arXiv cs.AI · arxiv.org