arXiv cs.AI· Taein Lim, Seongyong Ju, Munhyeok Kim, Hyunjun Kim, Hoki Kim·· 4 小时前AI 评分38
CyBiasBench:评估 LLM 智能体在网络攻击场景中的偏见
CyBiasBench: Benchmarking Bias in LLM Agents for Cyber-Attack Scenarios
AI 导读
研究者提出 CyBiasBench,一个包含 630 次会话的基准,在三个目标、四种提示词条件下用十类攻击家族评估五个 LLM 智能体。不同智能体表现出稳定的攻击选择偏见,主导攻击家族与攻击家族分配分布的熵值各异,且该偏见在提示词变化下保持相对稳定。实验还发现“偏见动量”效应:强行将智能体导向与其偏见冲突的攻击家族不会带来可测量的攻击性能提升。
正文 · AI 翻译
摘要:大型语言模型(LLM)正越来越多地被部署为进攻性网络安全中的自主智能体。在本文中,我们揭示了一个有趣的现象:不同的智能体表现出不同的攻击模式。具体而言,智能体表现出不同的攻击选择偏好,在它们探索的攻击家族以及投入的集中程度上均有所不同。这些模式在提示词变化下保持相对稳定。为了系统地量化这一行为,我们提出了 CyBiasBench,这是一个全面的 630 会话基准,在三个目标、四种提示条件下,用十个攻击家族评估五个智能体。我们识别出智能体之间存在明显的偏好,不同智能体具有不同的主导攻击家族,其攻击家族分配分布的熵水平也各不相同。这种偏好在所评估的环境中刻画了智能体行为,并提供了超出总体攻击成功率的信息。此外,我们的实验揭示了一种偏好动量效应,即智能体会抵制被明确引导至与其偏好相冲突的攻击家族。这种强制的分布偏移并未在攻击性能上带来可测量的提升。为确保可复现性并促进未来研究,我们发布了一个交互式结果仪表板,见 此 https URL,以及一个可复现性工件,其中包含聚合的会话级统计数据和完整评估脚本,见 此 https URL。
| 评论: | 被 NeurIPS 2026 Evaluations and Datasets Track 接收 |
| 主题: | 密码学与安全(cs.CR);人工智能(cs.AI) |
| 引用为: | arXiv:2605.07830 [cs.CR] |
| (或 arXiv:2605.07830v2 [cs.CR] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2605.07830 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Hoki Kim [查看电子邮件]
[v1]
2026年5月8日星期五 14:57:53 UTC(2,325 KB)
[v2]
2026年11月17日星期二 09:22:27 UTC(919 KB)
来源:arXiv cs.AI · arxiv.org