arXiv cs.CY· Chenhan Lyu, Kit Wislocki, Sarah Elizabeth Stoeckl, Maitreyi Sinha, Amir Rahmani·· 12 小时前AI 评分31
从临床判断到可核查规则：临床医生主导的心理健康聊天机器人护栏
From Clinical Judgment to Checkable Rules: Clinician-Led Guardrails for Mental-Health Chatbots
AI 导读
两位临床医生定义并裁定规则库的四项安全检查，经形式化验证内部一致性后作为 LLM 输出护栏，每条判定均可由具名规则和十六项事实重新计算。
正文 · AI 翻译
摘要：部署在心理健康场景中的大语言模型（LLM）可以针对安全失效进行评估，但由此产生的判断往往难以检查或解释。提升安全性的常见方法依赖于提示工程、LLM-as-a-Judge 和 Constitutional AI。在本工作中，我们描述了一种由临床医生主导的替代方案：由两名临床医生定义、最终确定并裁定规则库中的四项安全检查，该规则库经过形式化验证以确保内部一致性，并作为 LLM 输出之上的护栏应用。此处及标题中的“临床医生主导”指的是该规则库，而非事实提取器或不确定性默认值，后两者由我们提供。由此产生的验证层的每一个判定都可从一条具名规则和十六项事实重新计算得出。与一个在模型、版本、量化、规则文本和解码方式上均匹配、但缺少该层计算出的 988/911 事实的 LLM 评判器相比，最大的分歧类别——满足规则类——呈现出结构性特征：Llama-3.3-70B 评判器在其主提示下，对 65 条已包含危机资源的回复中的 55 条（84.6%）要求提供危机资源，而同一模型作为事实提取器被询问时，报告在 55 条中有 54 条存在已识别的资源。验证层按构造从不提出该要求。我们以同等显著程度报告该评判器更强之处：在唯一一项有参考评分的检查上误报危机警报更少。我们还报告了实测成本（一次规范修订将过度拒答基准的留出边界提示上的块类结果从 6.0% 提升至 16.0%，主要通过改变事实提取实现）、临床医生保留我们不确定性默认值的决定，以及对结果的分析。贡献不在于更安全的判定，而在于一个护栏：其与评判器的分歧可定位到具名规则和事实，其实测成本可追溯到具名事实和不确定性默认值。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2610.30690 [cs.CL] |
| （或本版本使用 arXiv:2610.30690v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.30690 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chenhan Lyu [查看邮箱]
[v1]
2026年10月22日星期四 04:02:51 UTC（265 KB）
来源：arXiv cs.CY · arxiv.org