arXiv cs.AI· Karan Dua, Amit Agarwal, Hitesh Laxmichand Patel, Hansa Meghwani, Jyotika Singh, Ranjeet Gupta, Graham Horwood, Tao Sheng, Avi Sil, Sujith Ravi, Dan Roth·· 3 天前AI 评分40
从人像到病理：探究视觉语言模型的诊断越界行为
From Portraits to Pathology: Probing Diagnostic Overreach in Vision-Language Models
AI 导读
研究构建了人口统计平衡数据集 PARITY，测试视觉语言模型是否会拒绝对面部图像做出自闭症谱系障碍、ADHD、重度抑郁症和广泛性焦虑症的诊断判断。对 27 个开源与闭源模型的评估显示，模型会将面部表情转化为缺乏依据的医学判断，且该行为在开源权重模型中普遍存在，并延伸至经过安全训练的前沿模型——后者对单张人像会拒答，但在比较同一身份的多张人像时仍会给出诊断。
正文 · AI 翻译
作者：Karan Dua、Amit Agarwal、Hitesh Laxmichand Patel、Hansa Meghwani、Jyotika Singh、Ranjeet Gupta、Graham Horwood、Tao Sheng、Avi Sil、Sujith Ravi、Dan Roth
摘要：许多医疗状况需要根据症状、病史和功能进行临床评估，而非依据外貌做出判断。我们研究视觉语言模型（VLM）是否会拒绝对自闭症谱系障碍（ASD）、注意缺陷多动障碍（ADHD）、重度抑郁症（MDD）和广泛性焦虑障碍（GAD）进行面部归因。
为支持这项研究，我们构建了 PARITY（Paired Assessment with Reused Identity，复用身份的配对评估），这是一个在人口统计上平衡的数据集，用于测试改变面部表情是否会改变诊断判断，同时尽可能保持身份和其他视觉因素不变。
我们对 27 个开放权重和闭源权重模型进行了全面评估，结果显示模型在不同表情、不同状况和不同任务格式下的拒答表现不一致。模型会将面部表情转化为缺乏依据的医学判断：这种行为在开放权重 VLM 中普遍存在，并延伸到经过安全训练的前沿模型——这些模型对单张肖像会拒答，但在比较同一身份的多张肖像时却会做出诊断判断。安全防护检查揭示了更多缺口：临床指令并不能一致地阻止这些判断，而一个护栏模型很少将配对请求标记为不安全。语义分析进一步表明，大多数基线开放模型的拒答未能同时解释面部证据的不充分性和临床评估的必要性。缺乏依据的判断和看似权威的解释可能造成痛苦、强化污名并提供虚假安慰，这凸显了在模型训练和部署中采取更强安全措施的必要性。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| ACM 分类： | I.2.7; I.2.10 |
| 引用为： | arXiv:2609.05540 [cs.CV] |
| （或 arXiv:2609.05540v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.05540 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Karan Dua [查看邮箱]
[v1]
2026年9月2日星期三 11:52:02 UTC（8,226 KB）
[v2]
2026年10月12日星期一 10:50:51 UTC（1,543 KB）
来源：arXiv cs.AI · arxiv.org