arXiv·· 16 天前AI 评分29
KaliBench：面向 Kali Linux 网络安全工具调用的细粒度基准，支持无运行时可验证奖励
KaliBench: A Fine-Grained Benchmark for Cybersecurity Tool Use on Kali Linux with Runtime-Free Verifiable Rewards
AI 导读
KaliBench 是一个细粒度基准，用于衡量 LLM 为 Kali Linux 真实网络安全工具生成可执行命令的能力，并采用无运行时可验证奖励。现有评测多聚焦知识问答或端到端智能体任务，未直接测量命令生成，而网络安全 CLI 中语法错误、flag 与取值绑定错误或参数顺序错误都会导致执行失败。
来源：arXiv · arxiv.org