arXiv cs.AI· Tianyu Chen, Chujia Hu, Wenjie Wang·· 9 天前AI 评分29
Safety Sentry：通过 EXECUTE-ASK-REFUSE 路由实现上下文感知的人类干预
SAFETY SENTRY: Context-Aware Human Intervention via EXECUTE-ASK-REFUSE Routing
AI 导读
Safety Sentry 将 LLM 智能体的安全防护重构为针对每个实例的 {EXECUTE, ASK, REFUSE} 三路路由决策，用轻量级 guard 模型实现，推理仅需一次解码调用。单个解码时阈值即可让同一 checkpoint 在不同风险容忍度的部署中重新定位，无需重新训练。该模型在整体准确率和安全相关召回率上优于多种开放权重与前沿闭源基线，同时控制双向错误率。
正文 · AI 翻译
摘要：LLM 智能体通过工具调用在真实环境中行动，一次误判的行动就可能造成不可逆的伤害。标准的防护措施是使用一个守卫模型，将每个提议的行动标记为安全或不安全，但这种二元视角混淆了两个不同的决策：该行动本身是否有害，以及它在用户语境下是否恰当。它还在行动类别的粒度上运作，而非针对单个实例，从而产生例行干扰，侵蚀自主性，并训练用户对最重大的警报也一概放行。我们将该问题重新表述为针对 {EXECUTE, ASK, REFUSE} 的逐实例三路路由决策，并用 Safety Sentry 加以实现——这是一个轻量级守卫模型，其推理仅需一次解码调用。单个解码时阈值使一个固定检查点无需重新训练即可在不同风险容忍度的部署中重新定位。Safety Sentry 在总体准确率和安全相关召回率上优于广泛的开放权重和前沿闭源基线，同时控制两个方向的错误率 this http URL，数据可在 this https URL 获取
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2607.13594 [cs.AI] |
| （或 arXiv:2607.13594v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.13594 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Chujia Hu [查看邮箱]
[v1]
2026年7月15日星期三 08:38:16 UTC（1,220 KB）
[v2]
2026年10月8日星期四 06:32:32 UTC（1,042 KB）
来源：arXiv cs.AI · arxiv.org