arXiv cs.CL· Kerri Prinos, Lilianne Brush, Cameron Denton·· 11 小时前AI 评分42
Honeyquest for LLMs：AI 攻击者的网络欺骗需要重新思考
Honeyquest for LLMs: Rethinking Cyber Deception for AI Attackers
AI 导读
研究团队将 Honeyquest 评测工具改造为自动化框架，测试了来自 10 家提供商的 21 个 LLM（参数规模 8B 至超 1T）在 174 条侦察查询上的表现，共获得 10,962 条回复并与 47 人人类基线对比。
正文 · AI 翻译
摘要：网络欺骗的实证基础依赖于以人为中心的假设，但自主的、由 AI 驱动的攻击者的迅速出现，使这一基础能否迁移到 AI 智能体上受到质疑。为解决这一问题，我们引入了一个自动化评估框架，该框架改编自 Honeyquest 工具，用于大规模评估 LLM 攻击者的判断。我们的 21 个 LLM 队列涵盖 10 家提供商、多样的架构与专长、开放权重与闭源权重模型，以及从 8B 到超过 1T 的参数规模。我们在完全相同的 174 条侦察查询集合上，评估了该 LLM 队列（共产生 10,962 条响应）相对于 47 名人类基线的表现。我们的实证评估揭示了三个关键发现，确立了 LLM 作为一类独特攻击者的地位：(1) 我们队列中的每个模型落入欺骗陷阱的比率都显著高于人类攻击者；(2) 在人类中观察到的防御性注意力转移效应在我们的 LLM 队列中在统计上不存在；(3) 存在一个关键的识别—行动差距，即 LLM 在推理中能够成功表达对陷阱的识别，但仍有 73.4% 的情况下利用了欺骗元素。在 21 个模型中，推理文本中的陷阱识别并不能预测落入陷阱的行为（Spearman r = +0.08，p = 0.73）。最终，这些发现表明，以人为中心的欺骗假设无法可靠地迁移到 AI 攻击者身上，凸显了对 AI 原生主动防御框架开展新研究的迫切需求。
| 评论： | 20 页，4 幅图，2 张表 |
| 主题： | 密码学与安全（cs.CR）；计算与语言（cs.CL） |
| 引用为： | arXiv:2606.21037 [cs.CR] |
| （或本版本的 arXiv:2606.21037v3 [cs.CR]） | |
| https://doi.org/10.48550/arXiv.2606.21037 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Lilianne Brush [查看邮箱]
[v1]
2026 年 6 月 19 日星期五 02:01:50 UTC（85 KB）
[v2]
2026 年 8 月 17 日星期一 15:13:20 UTC（87 KB）
[v3]
2026 年 10 月 23 日星期五 15:10:14 UTC（79 KB）
来源：arXiv cs.CL · arxiv.org