arXiv cs.CL· Yuan Xiong, Linji Hao, Shizhu He, Ken Deng, Yequan Wang, Lijun Li·· 11 小时前AI 评分40
Janus：面向长时程智能体安全，提前预判潜在风险
JANUS: Foreseeing Latent Risk for Long-Horizon Agent Safety
AI 导读
研究者提出 Janus 框架，通过多智能体模拟合成轨迹，联合训练"预判安全相关未来"与"基于已观测前缀和预判未来做安全判定"两个任务，并用 CoAA-RL 按对下游安全判断的效用奖励预判。由此得到的 guard 模型 Vanguard 可在执行前拦截不安全动作，在四个智能体安全基准上平均防护能力较基线 guard 提升 15.9 个百分点，同时良性任务完成率提升 5.1 个百分点。
正文 · AI 翻译
摘要：智能体安全正从内容审核转向在使用工具的智能体行动之前预防操作失败。我们提出 Janus，一个面向长时程智能体安全的前瞻性框架，训练防护模型从部分轨迹中预判延迟风险。Janus 通过多智能体模拟合成多样化的智能体轨迹，并学习一个具有两个耦合任务的共享策略：一个预测安全相关未来的预判任务，以及一个根据观测到的前缀和预判未来判定安全性的裁决任务。这两个任务通过 CoAA-RL 联合优化，该算法根据预测对下游安全判断的效用给予奖励。由此得到的防护模型 Vanguard 在执行前阻止不安全动作。在四个智能体安全基准上，Vanguard 相比基线防护模型将平均防护能力提升 15.9 个百分点，同时将良性任务完成率提升 5.1 个百分点。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2607.19913 [cs.AI] |
| （或 arXiv:2607.19913v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.19913 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuan Xiong [查看邮箱]
[v1]
2026年7月22日 星期三 08:43:43 UTC（1,345 KB）
[v2]
2026年10月23日 星期五 03:35:03 UTC（1,551 KB）
来源：arXiv cs.CL · arxiv.org