arXiv cs.CL· Sneha Oram, Tejomay Kishor Padole, Pushpak Bhattacharyya, Suyash P. Awate·· 12 小时前AI 评分31
PRiME：心理健康领域的语用推理研究
PRiME: Pragmatic Reasoning In MEntal health
AI 导读
研究构建三个数据集与三项任务，评估12个LLM在心理健康高风险场景下的语用推理能力，Mistral-7B表现最佳，整体与人类评估相当。团队还用误差不对称比率分析模型表现，并对MentaLLaMA-7B做了一阶注意力 rollout 实验，公开模型的架构行为结果。
正文 · AI 翻译
摘要：本文研究了推理与心理健康的任务及领域交互。由于大语言模型（LLMs）展现出卓越的文本理解与流畅的文本生成能力，我们分析其能否在心理健康这一高风险领域中进行推理。我们首先引入三个数据集和三个任务，借鉴语用推理领域的现有工作。该分析构成对 $12$ 个 LLM 的评估，其中包括 MentaLLaMA——一个心理健康推理与解释生成模型。模型表现与人工评估相当，其中 Mistral-7B 模型表现最佳。我们进一步通过误差不对称比分析模型表现，并使用 MentaLLaMA-7B 进行一阶注意力展开实验。我们向社区呈现结果，报告模型对输入文本的架构行为，并建议在高风险领域进行进一步的细致分析。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2507.23247 [cs.CL] |
| （或 arXiv:2507.23247v3 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2507.23247 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sneha Oram [查看邮箱]
[v1]
2025年7月31日 周四 05:10:38 UTC（7,303 KB）
[v2]
2025年11月7日 周五 17:49:33 UTC（458 KB）
[v3]
2026年10月21日 周三 01:48:06 UTC（12,717 KB）
来源：arXiv cs.CL · arxiv.org