跳到正文
arXiv cs.AI· Jingxiang Meng, Aofan Liu, Yaoshuai Ma, Fangxin Liu, Yongbiao Chen·· 3 天前AI 评分31

REA:从正确的 LLM 判断到安全的决策交付

REA: From Correct LLM Judgments to Safe Decision Delivery

AI 导读

研究提出 Resolve–Express–Act(REA)框架,追踪 LLM 判断从解析到回退再到应用动作的全过程,发现正确预测常出现在格式错误的输出中。解析安全判定可保留推理型安全护栏的准确率优势,接受格式变体则能挽回大部分被拒的正确预测。在 fail-open 回放中,匹配解析器与输出并修复格式后,尽管护栏判断正确却仍被放行的有害请求比例从 95.5% 降至 0%。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:生成式安全防护必须正确分类请求,并返回应用程序可解析的输出。推理型防护可以提高分类准确率,但产生的输出应用程序无法解析。当应用程序无法提取正确预测时,回退处理可能放行有害请求或拦截安全请求。我们提出 Resolve--Express--Act(REA),一个通过解析和回退追踪判断直至应用程序操作的框架。在分类器和安全防护上的实验表明,正确预测可能出现在格式错误的输出中。解析安全判定可保留推理型防护的准确率优势,而更严格的解释要求会拒绝额外的正确预测。接受格式变化可恢复大多数被拒绝的正确预测。留出测试证实,输出要求和生成限制会影响正确预测能否被解析。在我们的故障开放重放中,将解析器与输出匹配并修复格式,使尽管防护判断正确却仍被放行的有害请求比例从 95.5% 降至 0%。固定输出对比表明,基于模型的提取可以保留防护判定,但并非自动可靠;确定性归一化已能修复观察到的原生格式失败。回退重放表明,同一个正确预测可能因解析器和回退策略不同而导致不同的安全操作,包括放行防护正确识别为有害的请求。
主题: 人工智能(cs.AI)
引用为: arXiv:2610.17473 [cs.AI]
  (或 arXiv:2610.17473v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.17473

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Jingxiang Meng [查看电子邮件]
[v1] 2026年10月12日星期一 22:39:36 UTC(115 KB)

来源:arXiv cs.AI · arxiv.org