arXiv cs.CL· Jerrold Huang, Junwei Quan, Saiyue Lyu, Zihan Guo, Yingqiang Ge·· 3 天前AI 评分26
SkillScreen：用决策模型高召回筛查恶意 Agent 技能
SkillScreen: High-Recall Screening of Malicious Agent Skills with Decision Models
AI 导读
SkillScreen 是一个紧凑决策模型，单次前向传播即可从 SKILL.md 直接为技能恶意性打分。在 MaliciousSkillBench 上，它对未见攻击家族实现 99% 召回，仅误报 20-25% 良性技能，明显少于词级分类器和提示词 LLM 评判。但面对陌生的良性来源，误报会急剧上升，说明识别新攻击并不等于能可靠筛查新的技能集合。
正文 · AI 翻译
摘要：Agent 技能将自然语言指令转化为行动，由此带来一个安全挑战：合法自动化与恶意行为可能看起来极为相似。一个实用的筛查系统必须能捕获几乎所有攻击，同时让审查负担保持在可管理的范围内。我们提出 SkillScreen，这是一个紧凑的决策模型，经过训练可直接从 SKILL$.$md 中通过单次前向传播对技能恶意性进行评分。在 MaliciousSkillBench 上，SkillScreen 在未见过的攻击家族上以 99% 的召回率标记出 20-25% 的良性技能，明显少于所测试的词级分类器和提示式 LLM 评判器。在相同的训练协议下，它在对未见来源的泛化能力上也优于完全微调的编码器。然而，不熟悉的良性来源会急剧增加误报，这表明识别新攻击并不能确保对新技能集合进行可靠筛查。我们的结果证明了任务训练决策模型在高召回率技能筛查中的价值。项目页面：this https URL
| Comments: | 21 页，包括参考文献和附录 |
| Subjects: | 密码学与安全（cs.CR）；人工智能（cs.AI）；计算与语言（cs.CL） |
| Cite as: | arXiv:2610.17727 [cs.CR] |
| （或 arXiv:2610.17727v2 [cs.CR] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2610.17727 arXiv 颁发的 DOI 经由 DataCite |
Submission history
来自：Jerrold Huang [查看电子邮件]
[v1]
2026年10月13日星期二 05:03:43 UTC（639 KB）
[v2]
2026年10月14日星期三 04:56:03 UTC（639 KB）
来源：arXiv cs.CL · arxiv.org