arXiv cs.AI· Junchen Ding, Jialiang Dong, Yichen Zhu, Yi Liu, Gelei Deng, Willy Susilo, Siqi Ma, Yuekang Li·· 11 小时前AI 评分34
AI Slop 与漏洞评估中的模型幻觉：推理失败与可信缓解综述
AI Slop and Hallucinations in Vulnerability Assessment: A Survey on Reasoning Failures and Trustworthy Mitigation
AI 导读
一篇被 SiMLA 2026 接收的综述指出，LLM 进入网络安全漏洞评估后产生的“AI slop”——幻觉漏洞、看似合理却错误的补丁、语义重包装的缺陷报告——正像拒绝服务攻击一样加重人工分诊负担。
正文 · AI 翻译
摘要：大型语言模型（LLM）融入网络安全领域，已经改变了漏洞评估的方式，但也引发了一场可信度危机，其根源在于“AI slop”的无节制泛滥。这些产物——幻觉出的漏洞、看似合理但实际错误的补丁，以及语义上重新包装的缺陷报告——给人工分诊流程带来了认知负担，其效果堪比拒绝服务攻击。本文梳理了相关实证证据，识别出一个统一的机制，并勾勒出一条通往可信分诊的路径。我们基于结构化的文献综述，对 AI slop 进行了分类学形式化，并剖析其根本原因：安全专家的因果演绎推理与当前 LLM 的自回归概率生成之间的差距。我们通过一个可度量的代理指标——演绎覆盖度评分——将这一差距操作化，并表明思维链提示和工具使用型智能体能够缩小这一差距，但无法将其弥合。我们回顾了缓解策略，并指出被动检测与水印针对的是来源而非正确性，面临根本性的熵约束。我们转而主张主动的神经符号验证，将流程中的每个组件映射到已有系统，并记录其在安全输入上的已知局限。最后，我们指定了两个评估工具——CVE-Bench 和 Slop-Score，包括数据集构建、指标公式和防作弊条款。通过将评估从语言流畅性转向数学可验证性，本综述为保障新兴的 AI 驱动分诊系统提供了一份路线图。
| 评论： | 已被 SiMLA 2026 接收 |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.25667 [cs.CR] |
| （或 arXiv:2608.25667v2 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.25667 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Junchen Ding [查看邮箱]
[v1]
2026年8月26日 星期三 11:48:38 UTC（150 KB）
[v2]
2026年11月5日 星期四 03:08:19 UTC（150 KB）
来源：arXiv cs.AI · arxiv.org