arXiv cs.CL· Marcin Moskalewicz, Anna Sterna, Karolina Dro\.zd\.z, Kacper Dudzic, Marek Pokropski, Paula Flores·· 11 小时前AI 评分26
GPT、Gemini 与 Claude 模拟边缘型人格障碍临床专家：与人类专家的对比评估
Computational Phenomenology of Borderline Personality Disorder: A Comparative Evaluation of LLM-Simulated Expert Personas and Human Clinical Experts
AI 导读
研究用 GPT、Gemini、Claude 对超 15 万词边缘型人格障碍患者访谈做主题分析，与人类临床专家结果重叠度仅 0-58%，但所有模型都找出了人类研究者遗漏的主题。盲评下 Gemini 2.5 Pro 的内容效度与人类无法区分，语义向量嵌入风格也最接近人类。
正文 · AI 翻译
摘要：本研究以一项由人类主导的主题分析为基础，该分析针对边缘型人格障碍住院患者的临床生活史访谈（> 150,000 词）展开，进而考察大型语言模型（OpenAI 的 GPT、Google 的 Gemini 和 Anthropic 的 Claude）支持定性临床分析的能力。研究采用混合方法评估模型的解释潜力。研究 A 涉及现象学和临床心理学领域的盲法与非盲法评审者。专家使用语义一致性、Jaccard 系数和多维效度评分（包括可信度、连贯性、结果的实质性以及对定性数据的扎根程度）来评估 AI 生成内容的效度。在研究 B 中，采用神经方法将人类和模型生成的主题描述嵌入多维向量空间。这种方法提供了一种客观化的计算度量，用于衡量人类与模型在语义和语言风格上的差异。在研究 C 中，进行了补充性的非专家评估（N=115），以考察主题冗长度对人类作者身份感知和内容效度的影响。总体而言，AI 分析结果与人类解读的重叠程度高度可变（0-58%），而所有模型都识别出了人类研究者最初遗漏的主题，证明它们有能力减轻人类偏见。在主题层面，外部评估者无法可靠区分人类撰写的主题与 AI 生成的主题。在盲法模式下由高水平专家对照原始数据评估内容效度时，Gemini 2.5 Pro 的表现与人类无法区分。语义向量嵌入的比较表明，其风格也最接近人类。
| 评论： | 已被第一届临床 AI 应用伦理研讨会（ETHICAIA 2026）论文集接收，该研讨会与第 35 届国际人工智能联合会议（IJCAI-ECAI 2026）同期举办。28 页，8 张表，2 幅图 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| ACM 分类： | I.2.7；J.3 |
| 引用为： | arXiv:2508.19008 [cs.AI] |
| （或本版本的 arXiv:2508.19008v4 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2508.19008 arXiv 通过 DataCite 颁发的 DOI |
|
| 期刊 参考： | CEUR Workshop Proceedings，第 4306 卷，第 73-100 页（2026） |
提交历史
来自：Kacper Dudzic [查看邮箱]
[v1]
2025 年 8 月 26 日星期二 13:13:47 UTC（548 KB）
[v2]
2026 年 1 月 26 日星期一 15:37:22 UTC（314 KB）
[v3]
2026 年 8 月 20 日星期四 13:44:56 UTC（503 KB）
[v4]
2026 年 11 月 4 日星期三 15:25:44 UTC（503 KB）
来源：arXiv cs.CL · arxiv.org