arXiv cs.CL· Chenhan Lyu, Yutong Song, Pengfei Zhang, Amir M. Rahmani·· 12 小时前AI 评分31
面向心理健康聊天机器人的领域特定 Constitutional AI 安全增强方法
Domain-Specific Constitutional AI: Enhancing Safety in LLM-Powered Mental Health Chatbots
AI 导读
研究者提出将 Constitutional AI 训练与领域特定的心理健康原则结合，用于提升 LLM 心理健康聊天机器人的安全性。该方法针对通用安全措施难以覆盖的危机干预准确性、治疗指南遵循、资源受限场景扩展性及细微对话中的偏差与痛苦信号识别等问题。
正文 · AI 翻译
摘要：心理健康应用已成为计算健康领域的一个关键方向，其驱动力包括全球精神疾病患病率不断上升、AI 在心理护理中的融合，以及服务不足社区对可扩展解决方案的需求。这些应用包括治疗聊天机器人、危机检测和健康平台，它们处理敏感数据，由于情绪脆弱性、误诊或症状加重等风险，以及需要精确管理脆弱状态以避免自残或信任丧失等严重后果，因此需要超越通用防护措施的专门 AI 安全机制。尽管 AI 安全取得了进展，但通用防护措施不足以应对心理健康领域的特定挑战，包括避免升级的危机干预准确性、防止错误信息的治疗指南依从性、资源受限环境下的规模限制，以及对细微对话的适应能力——通用方法可能引入偏见或错过痛苦信号。我们提出一种方法，将宪法 AI 训练与领域特定的心理健康原则相结合，以在计算心理健康应用中构建安全、领域适配的 CAI 系统。
| 评论： | 已被 2025 IEEE 第 21 届国际体感网络会议（BSN）接收 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| ACM 分类： | I.2.7; J.3; K.4.1 |
| 引用为： | arXiv:2509.16444 [cs.AI] |
| （或本版本使用 arXiv:2509.16444v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2509.16444 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | 2025 IEEE 第 21 届国际体感网络会议（BSN），第 1-4 页 |
| 相关 DOI： | https://doi.org/10.1109/BSN66969.2025.11337405
链接到相关资源的 DOI |
提交历史
来自：Chenhan Lyu [查看邮箱]
[v1]
2025 年 9 月 19 日星期五 21:46:47 UTC（704 KB）
[v2]
2026 年 1 月 20 日星期二 03:08:53 UTC（702 KB）
来源：arXiv cs.CL · arxiv.org