arXiv cs.CL· Akshay Swaminathan, Filip Ramazan, Sharang Phadke, Kevina Wang, Ivan Lopez, Shaked Peleg Azzam, Gloria Ye, Chastin Chung, William Wang, Stephanie Stoll, Ivy Pham, Rebecca Hurwitz, Shreya Shah, Samuel Chuang, Divyanjali Verma, Abhay John, Ehsan Adeli, Nigam H. Shah·· 9 小时前AI 评分38
CrisisBench:面向危机咨询 AI 的评估套件
CrisisBench: an evaluation suite for crisis counseling AI
AI 导读
研究团队推出 CrisisBench,一个隐私保护的危机咨询 AI 评估套件,包含来自 200 段去标识化对话的 1,085 个单轮任务和 1,185 个患者 LLM。
正文 · AI 翻译
作者:Akshay Swaminathan、Filip Ramazan、Sharang Phadke、Kevina Wang、Ivan Lopez、Shaked Peleg Azzam、Gloria Ye、Chastin Chung、William Wang、Stephanie Stoll、Ivy Pham、Rebecca Hurwitz、Shreya Shah、Samuel Chuang、Divyanjali Verma、Abhay John、Ehsan Adeli、Nigam H. Shah
摘要:背景:危机求助热线对心理健康系统至关重要,但往往人手不足、资金匮乏。LLM 可以为咨询师提供支持,但现有基准未能涵盖危机对话中核心的升级、风险评估和降级处理,而隐私限制又限制了真实转录文本的使用。 方法:我们提出 CrisisBench,一套用于单轮和多轮危机咨询评估的隐私保护套件。它包含来自 200 段去标识化对话的 1,085 个单轮任务,以及源自热线元数据的 1,185 个患者 LLM。患者模型和一套 23 项 LLM 评判器已对照专家咨询师进行校准。 结果:我们评估了五个 GPT 模型,以及先起草后编辑和检索增强生成。在单轮评估中,所有系统在过度共情和提问方面均不如人类咨询师。该评分标准达到人与人 Krippendorff's $\alpha$ = 0.51,LLM 与人 $\alpha$ = 0.54(Pearson r = 0.80)。在多轮评估中,检索增强生成总体得分最高(0.961),所有系统差距在 0.058 以内。微观技能和风格/语气接近上限,而生产力和安全/风险构成了系统间差异的大部分。咨询师认为患者 LLM 真实(86%)且有用(92%)。 结论:CrisisBench 能够对危机咨询进行可扩展、隐私保护的评估。当前系统在核心结构性能力上表现强劲,但在重要的回复层面失败模式上仍与专家存在分歧。我们发布评分标准、评判提示和评估任务。
| 学科: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2611.21622 [cs.CL] |
| (或 arXiv:2611.21622v1 [cs.CL] 为此版本) | |
| https://doi.org/10.48550/arXiv.2611.21622 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Filip Ramazan [查看电子邮件]
[v1]
2026年9月11日星期五 06:42:30 UTC(1,585 KB)
来源:arXiv cs.CL · arxiv.org