arXiv cs.CY· Nil-Jana Akpinar, Eugenia Kim, Natalie Isak, Amanda Minnich, Victoria Westerhoff, Matthew Dressman·· 10 小时前AI 评分44
测量风险而非伤害：检测 LLM 对话中的心理伤害风险因素
Measuring Risk, Not Harm: Detecting Psychological Harm Risk Factors in LLM Conversations
AI 导读
研究提出"测量风险而非伤害"框架，在 AI 回复层面检测八种可观测的心理伤害风险行为，并构建了含 47,062 条 AI 回复、373,873 个回复-因素标签的合成多标签语料库。
正文 · AI 翻译
摘要：与大语言模型交互产生的心理伤害无法被直接监测，因为这类伤害可能在反复交互中逐渐显现，并且高度依赖主观的个体用户情境。我们提出衡量风险而非伤害：在 AI 回复层面检测构成心理伤害风险因素的可观测 AI 行为，并聚合这些信号以支持纵向监测。我们具体定义了八种此类行为，并构建了一个包含 47,062 条 AI 回复和 373,873 个回复-因素标签的合成多标签语料库，同时进行了有针对性的标注以用于验证和评估。随后，我们比较了基于嵌入的已训练分类器、直接由 LLM 评判以及分类器—评判级联三种方法。所有检测器均与模型无关，且仅作用于 LLM 输出，无需访问模型内部状态。我们将这些检测器应用于先前研究中的若干分布外人类—AI 对话数据集。在留出的人工标注数据上，最佳级联方法达到宏平均精确率 0.86、召回率 0.76、F1 值 0.79。在 WildChat 上，相对于直接评判，它将 LLM 评判调用次数减少了 97.1\%。在 DelusionEval 上，风险因素检测结果在对话内部聚集。综上，我们的结果表明，回复层面的行为风险因素检测可以为纵向心理安全监测提供一个可扩展的测量层，而不会将可观测的 AI 行为与潜在的用戶伤害混为一谈。
| 主题： | 计算与语言（cs.CL）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2611.06806 [cs.CL] |
| （或 arXiv:2611.06806v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06806 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Nil-Jana Akpinar [查看邮箱]
[v1]
2026年11月4日星期三 17:22:23 UTC（1,621 KB）
来源：arXiv cs.CY · arxiv.org