arXiv cs.CY· Leanne Tan, Keith Chua, Shaun Khoo, Onno P. Kampman, Lim Ruling Charmaine, Hazirah Hoosainsah, Kellie Yu Hui Sim, Kai He, Kenny Tsu Wei Choo, Roy Ka-Wei Lee·· 12 小时前AI 评分34
VEILED-SH:评估 AI 对间接自残与痛苦表达的响应基准
VEILED-SH: Vulnerability Expression through Indirect Language Evaluation Dataset (Self-Harm)
AI 导读
VEILED-SH 是一个评估 AI 对自杀、自残与痛苦间接表达单轮响应能力的基准及构建方法,包含 10,003 条提示词,覆盖咨询师聊天、论坛帖子、平台搜索与分诊场景,来源基于新加坡本地语料与公开数据集。
正文 · AI 翻译
摘要:AI 系统可能漏掉间接的、与文化情境相关的痛苦,或提供与应用场景不匹配的支持。现有基准未能同时处理文化差异、应用场景和从业者分歧。我们提出 VEILED-SH,一个用于评估对自杀、自残和痛苦的间接表达的单轮响应的基准与构建方法。其 10,003 条提示涵盖咨询师聊天、论坛帖子、平台搜索和分诊,取材于新加坡本地来源和公开数据集。一个经专家验证的多标签分类体系区分意图、交际功能和响应行为。六个自动化画像分别校准至三名同伴支持从业者和三名临床医生,保留独立的参考策略用于代理对齐评分。在覆盖增强样本上评估五个系统显示,即使对于相同的系统响应,不同画像生成的参考策略之间的代理对齐也存在差异。
| 评论: | 内容警告:本文讨论自杀、自残和令人痛苦的语言 |
| 主题: | 计算与语言 (cs.CL);人工智能 (cs.AI);计算机与社会 (cs.CY) |
| 引用为: | arXiv:2610.26190 [cs.CL] |
| (或本版本的 arXiv:2610.26190v2 [cs.CL]) | |
| https://doi.org/10.48550/arXiv.2610.26190 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Leanne Tan [查看邮箱]
[v1]
2026年10月19日 星期一 11:18:19 UTC(1,391 KB)
[v2]
2026年10月22日 星期四 04:39:04 UTC(1,391 KB)
来源:arXiv cs.CY · arxiv.org