arXiv cs.AI· Siyi Gu, Kunhan Gao, Chao Peter Yang, Sukanta Ganguly, Rex Ying, Arman Cohan·· 2 天前AI 评分31
StepSafe：用上下文感知安全推理实现及时干预
StepSafe: Learning Timely Intervention with Context-Aware Safety Reasoning
AI 导读
研究提出训练框架 ASPO 与步级推理护栏 StepSafe，通过前缀级阶段对齐和自适应反馈自蒸馏，让模型在风险可见前继续、在澄清仍可避免伤害时提问、在伤害不可逆前停止。StepSafe 在五个智能体安全基准上取得开源护栏 SOTA，4B 版本 Youden's J 达 53.0，对比 46.2。
正文 · AI 翻译
摘要：智能体系统中的安全性本质上是序列化的：某个动作是否安全取决于先前的动作、工具输出、信息披露以及智能体之间的交互。近期工作已将智能体安全护栏从轨迹级的事后评估转向步骤级的动作诊断与主动风险预测，然而现有训练目标对于步骤证据如何随时间累积、以及何时足以支持干预所提供的监督仍然有限。我们提出 \methodlong~(ASPO)：一种面向步骤级及时干预的训练框架。前缀级阶段对齐允许在每一步对其自身决策进行归因：它将每个响应与在同一前缀下采样的其他响应进行比较，并奖励符合当前阶段的动作——在风险尚不可见时继续，在澄清仍可避免伤害时询问，在伤害不可逆之前停止。自适应反馈自蒸馏进一步对每个决策背后的推理进行归因，以模型自身作为教师，在干预步骤上查看步骤标注，并在安全步骤上使用从自身误报中挖掘出的规则。其训练数据在每一步都带有违规分类体系和干预窗口，并通过自演化多智能体红队测试进行扩展。最后我们提出 \textsc{StepSafe}，一种具备及时干预能力的步骤级推理护栏，在五个智能体安全基准上，于安全-效用帕累托曲线上取得了开源护栏中的最先进性能，Youden's $J$ 为 53.0（4B），对比 46.2。
| Subjects: | 人工智能（cs.AI） |
| Cite as: | arXiv:2610.20960 [cs.AI] |
| （或 arXiv:2610.20960v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20960 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Siyi Gu [查看邮箱]
[v1]
2026年10月14日星期三 21:32:36 UTC（2,150 KB）
来源：arXiv cs.AI · arxiv.org