arXiv cs.AI· Sara Khosravi, Xiaofei Wen, Majid Sarrafzadeh, Muhao Chen·· 4 小时前AI 评分34
MedGuardBench:面向个性化护栏开发的以患者为中心基准
MedGuardBench: A Patient-Oriented Benchmark for Personalized Guardrail Development
AI 导读
研究团队发布 MedGuardBench,一个覆盖 87 种药物、5,001 个场景的药物不相交基准,用于评估患者条件化的用药安全护栏。研究发现标准护栏依赖措辞和是否提供档案等表面线索,而非患者事实。为此提出的个性化推理护栏包含个性化推理蒸馏、Context Unrolling 和基于规则的奖励(guided GRPO),在准确率上优于基座模型,并相对无档案对照组减少误报。
正文 · AI 翻译
摘要:安全是个性化的:同一行为对一个人安全,对另一个人可能不安全。然而当前的防护栏在判断内容时并未考虑受影响的对象。我们以用药安全为切入点,提出\textit{以患者状况为条件的用药防护},即根据患者档案和处方预测安全判定及 17 个风险类别。我们发布\textbf{MedGuardBench},这是一个涵盖 87 种药物、5,001 个场景的药物互斥基准。我们发现标准防护栏依赖表面线索,如措辞和档案是否存在,而非患者事实。为解决这一问题,我们开发了\textit{个性化推理防护栏},包含三个组件。\textbf{个性化推理蒸馏}将风险与相关患者字段关联。\textbf{上下文展开(CU)}让模型自行检查每个字段,在多数骨干模型上减少误报;对照实验表明,仅提供检查并不会带来同样的收益。\textbf{基于规则的奖励(引导式 GRPO)}在某些骨干模型上提升了不安全召回率和复杂风险检测能力,包括过敏和不良反应,但在其他模型上增加了误报。我们的模型在准确率上优于基础模型和匹配的无档案对照组,同时相对于无档案对照组减少了误报。移除和替换档案证实收益来自患者信息,而非仅来自微调。
| 主题: | 人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2611.22069 [cs.AI] |
| (或本版本使用 arXiv:2611.22069v1 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2611.22069 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Sara Khosravi [查看邮箱]
[v1]
2026年11月17日星期二 01:46:53 UTC(5,069 KB)
来源:arXiv cs.AI · arxiv.org