arXiv cs.CL· Drew Rein, Patrick Oathout, Vishal Kumar, Udari Madhushani Sehwag·· 6 天前AI 评分37
DistressBench：评估大语言模型的多维危机支持能力
DistressBench: Evaluating Multi-Dimensional Crisis Support in Large Language Models
AI 导读
研究团队推出 DistressBench，包含 718 段英语对话，覆盖 23 个自杀与自残（SSH）子类别，每段对话配有临床医生编写的用户话术、七维度加权评分标准和参考回复。25 个前沿模型中最佳者满足 88.4% 的加权标准，中位模型为 71.4%，临床医生参考回复为 98.7%。在模型已识别危机的对话中，35.3% 未能将用户引导至人工帮助，多轮对话得分（68.5%）低于单轮（74.2%）。
正文 · AI 翻译
摘要：语言模型的采用速度超过了能够可靠评估其风险的评价实践，而且越来越多的使用是情感性的而非信息性的。在这类流量中，用户会披露自杀与自残（SSH）危机。现有的安全基准主要根据拒绝来给模型打分，但拒绝在这里并非期望的行为；这类对话需要的是实质性的支持性回应。我们提出了 DistressBench，包含 718 段英语对话，其用户话轮由临床医生撰写，涵盖 23 个 SSH 子类别，每段对话都配有一份任务特定评分标准，该标准由加权原子准则组成，横跨危机支持的七个维度，并配有一份临床医生参考回应。模型的得分是其回复所满足准则的加权平均值，可直接理解为所提供必要关怀的比例。25 个前沿模型中最好的一个满足了 88.4% 的加权准则，中位数模型为 71.4%，而临床医生参考回应按同一准则评分为 98.7%。在全部 25 个模型汇总后，在模型满足了识别危机所有准则的对话中，有 35.3% 未能将用户引导至人类帮助。这一不足集中在要求模型采取行动而非有所保留的维度上。将每个维度的中位数模型与其最佳模型对比，可将能力限制与选择区分开来：在最强模型中，降级处理达到 74.6%，而中位数为 46.0%；安全免责声明为 84.6%，而中位数为 8.3%。多轮对话的得分低于单轮对话（68.5% 对 74.2%）。我们发布了语料库、评分标准、评判校准标签，以及一份包含 20 段长时程红队对话记录的配套附录。这些结果表明，应基于模型所提供的关怀而非其拒绝言说的内容来评估危机安全，并应将降级处理和资源引导视为部署要求。
| 评论： | 39 页，9 幅图，13 张表 |
| 主题： | 计算与语言（cs.CL）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2610.12758 [cs.CL] |
| （或 arXiv:2610.12758v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12758 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
发件人：Drew Rein [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 22:09:12 UTC（328 KB）
来源：arXiv cs.CL · arxiv.org