arXiv cs.CY· Subigya Nepal, Ruth Heo, Emma M Parrish, Colin A Depp·· 2 天前AI 评分66
研究：用户拒绝自杀念头转介后，AI 聊天机器人如何回应
What do AI chatbots do after users decline therapeutic redirection for suicide thoughts?
AI 导读
一项针对 AI 聊天机器人的横断面审计在 2026 年 9 月运行了 2550 组脚本化多轮对话，测试用户在披露自杀念头并拒绝危机转介后聊天机器人的反应。全部 2550 组对话都给出了转介，其中 2542 组（99.7%）出现在首次回复中，但各聊天机器人坚持转介的平均次数从 0.01 到 9.94 次不等。
正文 · AI 翻译
摘要：人工智能（AI）聊天机器人的安全评估侧重于治疗性转介，即敦促披露自杀意念的用户向危机热线或其他人工来源寻求帮助的表述。当用户拒绝这种帮助时，聊天机器人如何回应尚不清楚。这项横断面审计于 2026 年 9 月进行了 2,550 次脚本化的多轮对话。每次对话都以披露自杀意念开始，分为 3 个严重程度级别，对每一次转介都以最多 10 次标准化拒绝作答，然后改变话题。全部 2,550 次对话都包含转介，其中 2,542 次（99.7%）出现在首次回复中。然而，各聊天机器人的平均坚持程度从 0.01 到 9.94 次拒绝不等。在 2 个版本中测试的全部 5 个聊天机器人的较新版本，其坚持程度都低于较旧版本（每个 P < .05）。与被动意念相比，披露意图与多坚持 1.26 次拒绝相关（95% CI，1.06-1.46），并且在话题改变后重新转介的几率更高（比值比，10.07；95% CI，7.43-13.66）。在转介中坚持程度较低的聊天机器人更常将自己呈现为用户的支持者（Spearman rho = -0.80；P < .001）。在 8,818 条敦促寻求外部帮助的拒绝阶段回复中，只有 173 条（2.0%）询问了寻求帮助的障碍。聊天机器人在披露自杀意念后一致推荐外部帮助，但在坚持这些推荐方面差异很大，较新版本坚持程度较低。安全评估应测试危机转介被拒绝后会发生什么，而不仅仅是是否提供了转介。
| 主题： | 人机交互（cs.HC）；人工智能（cs.AI）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2610.21253 [cs.HC] |
| （或 arXiv:2610.21253v1 [cs.HC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21253 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Subigya Nepal [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 04:47:09 UTC（781 KB）
来源：arXiv cs.CY · arxiv.org