arXiv cs.AI· Yue Zhao, Zixiang Xu, Angela Huyue Zhang, S. Alex Yang, Xiyang Hu·· 3 天前AI 评分27
agent-risk：面向 AI 智能体变更的风险评估方法
agent-risk: Risk Assessment for Changes to AI Agents
AI 导读
研究者提出 agent-risk，用于在修改已部署 AI 智能体前基于现有日志评估变更风险，可重放日志片段并假设其他条件不变、智能体不预知变更。在 bash 沙箱中，仅凭 7,200 条 episode 日志无法判定两个重试门控，而从保存状态仅重跑被阻断 episode 即达到与实时测试相同的决策，智能体调用量减半；缺少逐步危害记录时，停止门控的认证危害上限最高上升 2.5 倍。
正文 · AI 翻译
摘要：在更改已部署的 AI 智能体（更严格的安全门、新模型）之前，组织必须批准该更改，并从现有日志开始。将经典风险分析扩展到部分记录和对运行系统的部分更改，agent-risk 重放已记录的事件，假设其他一切不变且智能体不会预料到该更改。日志确定那些行为如常的事件，声明的停止值确定已停止的事件，其余事件需要日志支持、保存状态重跑或一个界限。我们证明了日志必须记录什么才能实现精确重放，以及哪些保存状态适用于一个门族。对于独立事件，我们界定了决策所需的重跑次数以及相对于实时行为的可容忍漂移。在一个 bash 沙箱中，仅凭一个 7,200 个事件的日志无法判定两个重试门中的任何一个，这些门允许智能体在日志从未显示的拒绝之后行动。仅从保存状态重跑每个门被阻止的事件，就以实时测试一半的智能体调用次数达到了两个实时决策，而该实时测试是在给定日志后事后确定规模的。在没有逐步伤害的情况下，一个停止门的认证伤害上限上升了多达 2.5 倍，因为日志隐藏了伤害是否发生在停止之前。因此，批准需要预先设计的证据：日志字段、保存状态、定向重跑。
| 评论： | 43 页，5 幅图，7 张表。代码、注册和日志：此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.16280 [cs.AI] |
| （或 arXiv:2610.16280v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16280 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yue Zhao [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 07:05:34 UTC（347 KB）
来源：arXiv cs.AI · arxiv.org