arXiv cs.AI· Chenxu Zhang, Zhou Liu, Wu Xin, Wentao Zhang·· 14 小时前AI 评分39
SkillLifeBench：评测 AI 智能体技能全生命周期的安全性
SkillLifeBench: Benchmarking Security Across the Lifecycle of Agent Skills
AI 导读
SkillLifeBench 用 388 个配对场景评测智能体技能在实现、接口、运行时、组合与版本变更中的安全表现，覆盖 14 个模型。GPT-5.6-Sol 与 Sonnet 4.6 在运行时任务上均为 82.0%，但在生命周期任务上分别为 96.7% 和 56.7%。生命周期评测中任务成功率为 77.5%，联合成功率仅 65.2%，有 103 次运行在完成任务的同时达成了攻击目标。
正文 · AI 翻译
摘要：Web 智能体复用技能时，其存储代码、所选版本与加载实现可能因任务和更新而出现分歧。SkillLifeBench 在 388 个配对场景中将上述状态与任务结果关联起来，涵盖实现、接口、运行时、组合与版本变更。我们在两条配对决策轨道上评估了 14 个模型：89 个运行时任务和 60 个自主生命周期任务，后者跨越由引入案例衍生的 12 个模板。生命周期任务允许智能体在完成可验证用户请求的同时检查、选择并重新配置技能。联合成功要求任务完成且未达成注册的攻击目标。GPT-5.6-Sol 与 Sonnet 4.6 在运行时任务上均达到 82.0%，但在生命周期任务上分别达到 96.7% 和 56.7%。在生命周期评估中，受挑战任务成功率为 77.5%，而联合成功率为 65.2%；有 103 次运行完成了任务并达成了攻击目标。在一项匹配的恢复研究中，加入执行溯源将效用联合成功率从使用日志和元数据时的 49.35% 提升至 65.58%。确定性执行一致性规则达到 64.94%，且良性效用更高，而完全恢复达到 69.48%。生命周期任务能区分运行时得分相近的模型，执行证据可改善恢复。
| 评论： | 12 页，6 幅图。代码与基准：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.35215 [cs.LG] |
| （或 arXiv:2610.35215v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35215 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chenxu Zhang [查看电子邮件]
[v1]
2026 年 10 月 26 日星期一 11:07:04 UTC（1,084 KB）
来源：arXiv cs.AI · arxiv.org