arXiv cs.CY· Fangrui Huang, Souhad Chbeir, Arpandeep Khatua, Sheng Wang, Sijun Tan, Kenan Ye, Lily Bailey, Merryn Daniel, Ryan Louie, Sanmi Koyejo, Ehsan Adeli·· 10 小时前AI 评分40
TherapyGym：评估并对齐心理治疗聊天机器人的临床保真度与安全性
TherapyGym: Evaluating and Aligning Clinical Fidelity and Safety in Therapy Chatbots
AI 导读
研究者提出 TherapyGym 框架，从保真度与安全性两个临床维度评估和改进心理治疗聊天机器人，保真度用认知治疗评定量表（CTRS）自动评分多轮 CBT 会话。
正文 · AI 翻译
作者：Fangrui Huang、Souhad Chbeir、Arpandeep Khatua、Sheng Wang、Sijun Tan、Kenan Ye、Lily Bailey、Merryn Daniel、Ryan Louie、Sanmi Koyejo、Ehsan Adeli
摘要：大语言模型（LLM）正越来越多地用于心理健康支持；然而，主流的评估方法——流畅度指标、偏好测试和通用对话基准——无法捕捉心理治疗中临床关键的维度。我们提出 THERAPYGYM，一个从两个临床支柱评估并改进治疗聊天机器人的框架：忠实度和安全性。忠实度使用认知治疗评定量表（CTRS）衡量，该量表实现为一条自动化流水线，在多轮会话中对 CBT 技术的遵循程度进行评分。安全性使用多标签标注方案评估，涵盖治疗特有的风险（例如未能处理伤害或虐待）。为减轻基于 LLM 的评判者中的偏差和不可靠性，我们进一步发布 THERAPYJUDGEBENCH，一个包含 116 段对话、1,270 条专家评分的验证集，用于对照持证临床医生进行审计和校准。THERAPYGYM 还充当训练框架：CTRS 和基于安全性的奖励驱动强化学习，并配有可配置的、覆盖多样症状特征的患者模拟。在 THERAPYGYM 中训练的模型在专家评分上有所提升，平均 CTRS 从 0.10 升至 0.60（在 LLM 评判者下从 0.16 升至 0.59）。我们的工作使得可扩展地开发忠实于循证实践、在高风险使用中更安全的治疗聊天机器人成为可能。
| 评论： | 被 NeurIPS 2026 Evaluations and Datasets Track 接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2603.18008 [cs.CL] |
| （或本版本的 arXiv:2603.18008v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2603.18008 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Fangrui Huang [查看邮箱]
[v1]
2026年2月23日星期一 06:05:01 UTC（1,931 KB）
[v2]
2026年11月3日星期二 22:41:02 UTC（1,981 KB）
来源：arXiv cs.CY · arxiv.org