arXiv cs.AI· Xinkai Chen·· 3 天前AI 评分20
结构化标准提取 vs. 思维链：评估 LLM 的抑郁严重程度标准提取
Structure vs. Chain-of-Thought: Evaluating LLM Criteria Extraction for Depression Severity
AI 导读
研究对比了 LLM 直接评分与先提取临床标准再由规则判定两种抑郁严重程度评估方式，在 Reddit 语料上用 3 个模型（9B 至前沿规模）和 PHQ-9、BDI-II 两份问卷以二次加权 kappa 衡量一致性。
正文 · AI 翻译
摘要：大型语言模型（LLM）可以直接根据社交媒体帖子评估抑郁严重程度，或者标记帖子符合哪些临床标准，再让简单规则把计数转换为标签。后者更易于审计，因为临床医生可以检查每个被标记的标准。我们在两个 Reddit 语料库上，使用三个 LLM（从 9B 到前沿规模）和两份问卷（PHQ-9、BDI-II）比较这些方法，并用二次加权 kappa 衡量一致性。对于两个前沿模型，标准提取仅在一个语料库上、且其决策阈值在标注数据上拟合时，得分高于思维链。无论是否在同一批标签上重新校准思维链，两个模型的增益都不显著。当阈值根据 PHQ-9 的标准先验固定时，提取在两个语料库上都没有增益，即使在模型每篇帖子标记超过两个标准的情况下也是如此。9B 模型在来自抑郁社区的语料库上表现不同。无论直接提示还是使用思维链，它都将大多数帖子标记为严重，而不使用任何标签的先验规则胜过两者。在思维链于同一批标签上重新校准后，不再存在显著差距，这与校准效应一致。然而，更高的序数一致性并不能确保更好地检测严重病例。PHQ-9 标准提取漏掉了大多数严重帖子，并且从直接提示转向思维链、再转向提取，在几乎所有比较中都增加了漏检。在一个语料库上，即一个重新标注的压力数据集，使用该数据集自身特征（其中一些由帖子文本计算得出）的模型，在先验规则下与前沿标准提取没有显著差异。
| 评论： | 16 页，3 幅图。这是被 MHSM 2026（IEEE ICDM 2026 Workshops）接收的论文的扩展版本；包含 9B 模型的 BDI-II 提取，会议论文集版本中没有。v2 增加了标准结构化的思维链消融实验、两幅图，以及在更严格阈值检查中的 9B 模型。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.39049 [cs.CL] |
| （或 arXiv:2609.39049v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.39049 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Xinkai Chen [查看电子邮件]
[v1]
2026 年 9 月 30 日星期三 05:57:26 UTC（49 KB）
[v2]
2026 年 10 月 10 日星期六 22:40:24 UTC（162 KB）
来源：arXiv cs.AI · arxiv.org