arXiv cs.CY· Drishti Goel, Jeongah Lee, Qiuyue Joy Zhong, Violeta J. Rodriguez, Daniel S. Brown, Ravi Karkar, Dong Whi Yoo, Koustuv Saha·· 12 小时前AI 评分38
RubRIX:面向看护者-AI 交互的评分标准驱动风险缓解框架
RubRIX: Rubric-Driven Risk Mitigation in Caregiver-AI Interactions
AI 导读
研究者提出 RubRIX(Rubric-based Risk Index),一个基于关怀伦理、经临床医生验证的 LLM 看护回复风险评估框架,将风险拆为疏忽、偏见与污名、信息不准确、无批判肯定、认知傲慢五个维度。
正文 · AI 翻译
摘要:寻求 AI 辅助支持的照护者表达了复杂的需求——信息寻求、情感认同和痛苦信号——这些都需要对回复的安全性和适当性进行仔细评估。现有的 AI 评估框架主要关注一般性风险(毒性、幻觉、政策违规等),可能无法充分捕捉 LLM 在照护情境中回复的细微风险。我们提出 RubRIX(基于评分标准的风险指数),这是一个理论驱动、经临床医生验证的框架,用于评估 LLM 照护回复中的风险。RubRIX 以关怀伦理要素为基础,将五个由实证得出的风险维度操作化:疏忽、偏见与污名、信息不准确、无批判性肯定和认知傲慢。我们在来自 Reddit 和 ALZConnected 的超过 20,000 条照护者查询上评估了六个最先进的 LLM。在模型间进行一次迭代后,评分标准引导的改进持续将风险成分降低了 45-98%。这项工作为高负担情境开发领域敏感、以用户为中心的评估框架提供了一种方法论途径。我们的发现凸显了领域敏感、交互性风险评估对于在照护支持情境中负责任地部署 LLM 的重要性。我们发布了基准数据集,以支持未来关于 AI 辅助支持中情境风险评估的研究。
| 主题: | 人机交互(cs.HC);人工智能(cs.AI);计算与语言(cs.CL);计算机与社会(cs.CY);机器学习(cs.LG);社会与信息网络(cs.SI) |
| 引用为: | arXiv:2601.13235 [cs.HC] |
| (或此版本的 arXiv:2601.13235v2 [cs.HC]) | |
| https://doi.org/10.48550/arXiv.2601.13235 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考: | Findings of the Association for Computational Linguistics: ACL 2026 |
| 相关 DOI: | https://doi.org/10.18653/v1/2026.findings-acl.1774
链接到相关资源的 DOI |
提交历史
来自:Koustuv Saha [查看电子邮件]
[v1]
2026年1月19日星期一 17:10:49 UTC(709 KB)
[v2]
2026年10月21日星期三 15:26:27 UTC(347 KB)
来源:arXiv cs.CY · arxiv.org