arXiv cs.CL· Andrea Mock, Valerie Chen, Eric Lin, Rayan Krishnan, Diyi Yang, Caroline Figueroa·· 11 小时前AI 评分48
SAFE-Teen：评估聊天机器人在青少年心理健康对话中的安全性
SAFE-Teen: Evaluating Chatbot Safety Across Adolescent Mental Health Conversations
AI 导读
SAFE-Teen 对 18 个聊天机器人 API 的 32,555 段模拟青少年（13-17 岁）对话进行临床医生参与的评测，基于 22 项安全标准，整体失败率为无 teen-aware 提示词时的 43.3%、加入提示词后的 24.9%。
正文 · AI 翻译
摘要：青少年越来越多地转向 AI 聊天机器人寻求心理健康支持、建议和陪伴，这引发了安全担忧。尽管近期的评估已开始考察多轮对话中的安全性，但很少有研究比较青少年回复的细微变化如何影响同一场景下聊天机器人的安全性。我们开展了一项由临床医生参与的评估，考察聊天机器人在与 13-17 岁青少年模拟对话中的安全性，分析安全失效如何随青少年的回复以及针对青少年的系统提示而变化。我们使用基于此前已识别危害的 22 项安全标准，评估了 18 个聊天机器人 API 和两种系统提示条件下的 32,555 段模拟对话。对话涵盖 106 个种子场景的 983 个变体，涉及紧急安全问题、健康建议以及身份与关系。未使用针对青少年的提示时，总体标准失效率为 43.3%；使用时为 24.9%。针对青少年的提示减少了失效，但并未消除失效。当青少年对聊天机器人的回答提出反驳时，在没有该提示的情况下，心理健康诊断、药物和物质滥用边界方面的失效率上升了 10-12 个百分点，超过 80% 的聊天机器人出现这一情况。这些发现揭示了模拟青少年与聊天机器人交互中持续存在的安全失效，并表明安全性取决于对话如何展开。
| 评论： | 29 页。内容警告：本文讨论敏感内容，包括自残、自杀及其他心理健康话题 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.07218 [cs.CL] |
| （或 arXiv:2611.07218v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07218 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Andrea Mock [查看邮箱]
[v1]
2026 年 11 月 4 日星期三 23:11:33 UTC（110 KB）
来源：arXiv cs.CL · arxiv.org