arXiv cs.CL· John Mendon\c{c}a, Daniel Tschernutter, Jos\'e Pombal, Areti Vassilopoulos, Catarina Botelho, Ignacio Sarasua, Maya D'Eon, Nuno Guerreiro, Ricardo Rei·· 2 天前AI 评分36
MindEval2：面向心理健康支持的语言模型临床化患者模拟与评分标准
MindEval2: Clinically Grounded Patients and Rubrics for Evaluating Language Models in Mental Health Support
AI 导读
MindEval2 是一个用于评估语言模型心理健康支持能力的框架，包含与 PhD 级心理学家合作开发的 Mental Health Quality Rubrics（MHQR）评分标准和结合患者画像与工具、带记忆组件的 MindSim 患者模拟器。
正文 · AI 翻译
摘要：随着人们越来越多地转向 AI 聊天机器人寻求心理健康支持，评估这些工具的需求变得愈发迫切。近期的基准测试试图通过模拟与合成患者的多轮交互，并用 LLM-as-a-judge 进行评估，来模拟真实场景。然而，这些方法的实用性有限，因为模拟患者可能过于主动配合和自我反思，而且评判通常涉及不透明的李克特量表，实际效用不明。为弥合这些差距，我们推出 MindEval2，一个由两部分组成的评估框架：用于评估的心理健康质量评分标准（MHQR），以及用于患者模拟的 MindSim。对于 MHQR，我们与博士级心理学家合作，制定了一套评分标准，将回复质量分解为明确的可操作标准，比现有评估分类法更具可解释性和可操作性。而 MindSim 则是一个 LLM 工具框架，将精心设计的患者档案与工具相结合，能够实现比现有基线更多样、更具挑战性和更真实的交互。该框架还包含一个在每次交互之间更新的记忆组件，使 MindEval2 能够对心理健康的纵向维度进行建模。我们在 MindEval2 上评估了 18 个专有和开放权重模型，发现虽然前沿模型在表层质量和边界相关问题上已有很大改善，但指导校准仍然是所有模型的主要失败模式，构成了大部分质量差距。
| 评论： | 47 页，17 幅图，23 张表。代码、提示词、基准档案和标注：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22314 [cs.CL] |
| （或 arXiv:2610.22314v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22314 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：John Mendonca [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 17:51:01 UTC（14,926 KB）
来源：arXiv cs.CL · arxiv.org