研究显示约 1/17 的 Agent 技能含绕过人工检查的指令，现有扫描器大多漏检

Rohan Paul· @rohanpaul_ai · X·2026-10-31 19:55· 39 分钟前AI 评分64

AI 导读

一项大规模研究分析 GitHub 上 153 万个英文 Agent 技能（SKILL.md），发现约 1/17（约 88,000 个）含要求跳过人工检查的指令，且 70.1% 在任何场景下都无条件生效。

正文 · 原文

这篇论文发现，大约每 17 个 agent 技能中就有 1 个要求 agent 跳过人工检查，而现有的技能扫描器大多漏掉了它们。

Agent 技能是共享的 SKILL.md 指令文件，agent 会按需加载。像“push without confirmation”或“keep going until done”这样的一行，就会从每个加载它的 agent 中移除一个人工检查点。

他们分析了来自公共 GitHub 仓库的 153 万个英文技能，然后测试了来自 Cisco 和 NVIDIA 的 2 个可调用 GPT-5.4 的开源扫描器。

大约 88,000 个技能包含这样的一行，其中 70.1% 的行在所有上下文中都适用，而不仅是在 CI 等情况下。这些扫描器在精确率低于 0.4 时最多只捕获了 46%，而同一个 LLM 在被问及监督问题而非恶意意图时，以 0.71 的精确率捕获了 61%。

将技能中每一行“don't ask”都限定在特定上下文中，例如仅限 CI，并且筛查技能时关注监督问题，而不仅仅是恶意软件。

来源：Rohan Paul · x.com