arXiv cs.AI· K M Sajjadul Islam, Pranav Yaramalla, Nadiyah Johnson, Mark Flower, Praveen Madiraju, Zeno Franco·· 10 小时前AI 评分29
退伍军人心理健康危机严重度标注：LLM 比人类专家更一致吗？
Veterans' Mental Health Crisis Severity Annotation: Do LLMs Agree More Than Human Experts?
AI 导读
一项研究用 149 条推文和五级严重度分类，对比 15 个开源与 10 个专有 LLM 在八种提示词变体下与 8 位退伍军人领域专家的标注表现。LLM 间序数一致性 α 在基线提示词下达 0.8336，高于人类专家的 0.494，GPT-5.6-Terra 整体表现最佳，开源 Qwen2.5-7B 在识别急性危机伴自杀意念案例上最强。
正文 · AI 翻译
摘要：大语言模型（LLM）为标注心理健康和危机相关的社交媒体内容提供了一种可扩展的方法，但其在安全关键任务中的可靠性仍不明确。本研究以八位退伍军人领域专家（SME）的标注为基准，评估基于 LLM 对退伍军人相关社交媒体帖子进行危机严重程度标注的效果。我们使用 149 条推文和五个严重程度类别，在八种提示变体下评估了 15 个开源和 10 个专有 LLM，考察标注性能、模型间一致性、提示敏感性以及高严重程度危机检测。人类评审者表现出比名义一致性更高的序数一致性（{\alpha} = 0.494），表明分歧往往发生在相邻的严重程度级别之间。相比之下，所选 LLM 表现出显著更高的模型间一致性，在基线提示下序数一致性（{\alpha}）达到 0.8336。专有模型通常与专家标注的一致性更好，且比开源模型更稳定。GPT-5.6-Terra 取得了最佳整体表现，而开源模型 Qwen2.5-7B 在识别伴有自杀意念的急性危机案例方面表现最强。然而，更高的模型一致性并不一定对应与人类判断的一致或对罕见高严重程度案例的可靠检测。标签翻转演示实验还揭示了模型对误导性上下文示例的模型特异性敏感性，而解释性演示并未持续提升性能。总体而言，LLM 有望成为专家标注的可扩展补充，但在用于高风险心理健康应用之前需要仔细评估。
| 评论： | 已被 IEEE Big Data 2026 接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.10048 [cs.AI] |
| （或此版本的 arXiv:2611.10048v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.10048 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：K M Sajjadul Islam [查看邮箱]
[v1]
2026年11月5日星期四 22:18:51 UTC（209 KB）
[v2]
2026年11月10日星期二 03:19:07 UTC（209 KB）
来源：arXiv cs.AI · arxiv.org