皮肤科医生实测：10 年前的 CNN 在皮肤癌诊断上优于前沿 LLM

我是一名皮肤科医生。我测试了 GPT-6 Astra 和 Claude Fable 5.1 诊断皮肤癌的能力，发现它们的准确率低于我的预期。我将它们与一个 10 年前的 CNN 进行了比较，结果令我惊讶的是，后者更胜一筹。

这是一例黑色素瘤。

Clinical photograph: Invasive melanoma on the ear, under 0.8 mm thick. — **图 1.** 耳部侵袭性黑色素瘤，厚度不足 0.8 毫米。两个 LLM 都将其判断为脂溢性角化病，并表示可以出院。CNN 则判断为黑色素瘤。左侧为临床照片，右侧为皮肤镜图像。图片来源：MILK10k，MILK 研究团队，CC BY-NC。

Dermoscopic image: Invasive melanoma on the ear, under 0.8 mm thick. — **图 1.** 耳部侵袭性黑色素瘤，厚度不足 0.8 毫米。两个 LLM 都将其判断为脂溢性角化病，并表示可以出院。CNN 则判断为黑色素瘤。左侧为临床照片，右侧为皮肤镜图像。图片来源：MILK10k，MILK 研究团队，CC BY-NC。

我把这两张图像——一张临床照片和一张皮肤镜（皮肤显微镜）图像——展示给了 GPT-6 Astra 和 Claude Fable 5.1，这是 2026 年 10 月可用的两个能力最强的 AI 模型。两者都称其为脂溢性角化病，一种无害的疣状增生，并表示患者可以出院。随后，我又把它们展示给了一个经过微调的 Inception v3，这是一种卷积神经网络（CNN），由 Google 于 2015 年首次发表，并在此处基于公开皮肤科图像进行了微调。CNN 根据皮肤镜视图得出了正确答案。

这是我提供给全部三个模型的 200 个经活检证实的病变之一。CNN 在其中 125 个（62%）上给出了正确诊断（从 6 种可能中）。两个前沿 LLM 分别在 84 个和 85 个（42%）上给出了正确诊断。一个十年前网络，经过约二十分钟的微调，在识别皮肤癌方面击败了它们两者。

测试#

这些病变来自 MILK10k，这是一个通过国际皮肤成像协作组织于 2025 年发布的公开数据集，其中每个病变都被拍摄两次：一张临床特写和一张通过皮肤科医生使用的照明放大镜拍摄的皮肤镜图像。我随机抽取了 200 个病变，全部经组织病理学确认：

100 个不应出院：30 个黑色素瘤、25 个基底细胞癌、25 个鳞状细胞癌（包括 Bowen 病）和 20 个光化性角化病。
100 个可以安全出院：50 个良性痣和 50 个脂溢性角化病。

每个病变都进行了活检，包括良性病变，因此这些病变更难诊断：一个被决定切除的痣，是让临床医生担心的痣。

Clinical photograph: Basal cell carcinoma on the trunk of a 75-year-old man. Both models answered correctly. — **图 2.** 200 个测试病变中的另外三个。左侧为临床照片，右侧为皮肤镜图像。图片来源：MILK10k，MILK 研究团队，CC BY-NC。

Dermoscopic image: Basal cell carcinoma on the trunk of a 75-year-old man. Both models answered correctly. — **图 2.** 200 个测试病变中的另外三个。左侧为临床照片，右侧为皮肤镜图像。图片来源：MILK10k，MILK 研究团队，CC BY-NC。

LLM 只获得了这两张图像，没有其他信息，并被要求像临床医生可能使用它们那样，给出六种诊断中最可能的一种（或“不确定”）、一个置信度、第二选择，以及该病变是否可以安全出院，无需治疗、活检或随访。两个模型在默认设置下获得了相同的提示，且都没有拒绝任何病例。

该 CNN 刻意没有采用最先进的技术。我使用了在日常照片上预训练的 Inception v3，然后在单块 H100 GPU 上，用来自 ISIC Archive 的 68,011 张皮肤镜和临床图像微调了所有层。这 200 个测试病灶，以及同一病灶或患者的其他所有照片，在训练前都已从它的数据（包括验证集）中移除，因此它从未见过这些图像，它们也没有被用于选择模型或设定阈值。它对每个病灶的两张图像都进行了评分，将两者结合，大部分权重放在皮肤镜图像上，并从相同的六种诊断中做出选择。

你可以亲自试用这个 CNN。值得注意的是，该模型足够小，可以使用 WebGPU 完全在手机浏览器中运行。不会上传任何内容，其随机样本按钮从同样的这 200 个病灶中抽取。

诊断：62% 对 42%#

图 3。两个 LLM 和 CNN 的正确首选诊断，它们从相同的六种诊断中选择。标签显示正确数占该组织学类型病灶总数的比例。

总体而言，CNN 的正确率更高，在大多数诊断上也更高。如果允许第二选择，它达到了 200 个中的 173 个，而另外两者分别为 134 和 138。它在 30 个黑色素瘤中正确识别了 13 个，而另外两者分别为 8 个和 11 个。最大的差距在于无害病灶：它识别出 50 个痣中的 37 个和 50 个脂溢性角化病中的 26 个，而 GPT-6 Astra 为 16 个和 13 个，Claude Fable 5.1 为 33 个和 6 个。在基底细胞癌上，它比 GPT-6 Astra 少一个，在光化性角化病上则落后于两个 LLM。

这些模型的失败方式也不同。每个 LLM 都有一个偏好的答案：GPT-6 Astra 将 75 个病灶称为基底细胞癌，而实际只有 25 个是，其中包括 30 个黑色素瘤中的 14 个；Claude Fable 5.1 将 53 个病灶称为光化性角化病，而实际只有 20 个是。CNN 在黑色素瘤上的错误则相反：在它判断错误的 17 个中，有 8 个被称为痣，6 个被称为脂溢性角化病。

结果汇总表#

	GPT-6 Astra	Claude Fable 5.1	CNN (Inception v3)
正确诊断（200 个中）	84 (42%)	85 (42%)	125 (62%)
首选或次选正确	134	138	173
黑色素瘤作为首选（30 个中）	8	11	13
保留的不安全病灶（100 个中）	97	96	在其预设阈值下为 77；匹配后为 98 或 99
出院的 safe 病灶（100 个中）	32	22	在其预设阈值下为 76
出院的黑色素瘤（30 个中）	3	4	在其预设阈值下为 18；匹配后为 2 或 1

注意事项#

样本量小。200 个病灶足以显示模式，但不足以对接近的结果进行排名，而 30 个黑色素瘤使最重要的数字存在很大的不确定性。每个 LLM 病例只运行了一次；不同运行之间答案会有变化。
困难病例。每个病灶都经过了活检。在来自档案的普通图像上，CNN 区分应出院和不应出院病灶的能力要好得多（ROC 曲线下面积为 0.96，而此处为 0.86）。
污染。MILK10k 自 2025 年起公开，因此 LLM 可能在训练中见过它；如果有影响，那也会对它们有帮助。CNN 肯定没有见过。
并非最先进。Inception v3 是一个基线。最先进的皮肤癌诊断 AI 使用在更多数据上训练的视觉 transformer 集成，基于它们构建的受监管产品表现要好得多。

以患者身份提问#

如果改为以患者身份提问，仅提供临床照片并问“我需要看医生吗？”，两个 LLM 几乎在所有情况下都建议看医生，包括无害病灶：在另外 100 个经活检证实的黑色素瘤中，分别有 99 个和 98 个如此建议。

结论#

一个使用过时架构的小型、老旧、专用网络在识别皮肤病变方面远胜于两个前沿 LLM。

自己运行#

案例、提示词、每一次 LLM 回复以及评分代码都在一个下载包中，CNN 则在这里。

我设计了测试并做出了临床判定。分析和初稿由 Claude Code 生成，这是 Anthropic 的编码工具，运行在 Claude 模型上；所测试的两个 LLM 之一也来自 Anthropic。评分由脚本对照组织学完成。

图片来自 MILK10k 数据集（MILK 研究团队，国际皮肤成像协作组织），依据 CC BY-NC 许可使用。

Magnus Lynch 博士是 Guy's 医院的顾问皮肤科医生和莫氏手术外科医生，也是伦敦国王学院的荣誉讲师（相当于副教授）。他的临床工作涵盖皮肤癌、莫氏手术与面部重建手术以及激光；他的研究涵盖皮肤癌与疤痕的细胞生物学以及 AI 在皮肤科中的应用。完整简介。