arXiv cs.AI· Asif Shahriar, Hongyu Cai, Hadjer Benkraouda, Gang Wang, Z. Berkay Celik·· 2 天前AI 评分47
LLM 代码漏洞检测中的认知启发式偏差研究
Words Speak Louder Than Code: Investigating Cognitive Heuristics in LLM-Based Code Vulnerability Detection
AI 导读
研究首次系统探索了 LLM 代码漏洞检测中的认知启发式偏差，通过固定代码、仅改变上下文的方式，在三种编程语言上评估了八款 LLM。结果显示所有模型均受影响，框架效应平均敏感度最高达 33.2%，锚定效应 23.5%，光环效应 18.4%。概念验证的黑盒认知攻击可抑制高达 97% 的已检测漏洞。
正文 · AI 翻译
摘要：研究者和从业者越来越多地将大型语言模型（LLM）用于自动化漏洞检测。近期研究表明，LLM 容易受到与人类判断偏差相同的认知启发式影响。然而，尚无研究探讨这些启发式是否会影响模型对代码漏洞的评估。本文首次对 LLM 驱动的代码漏洞检测中的认知启发式进行了系统性探索。我们引入了一个受控框架，该框架保持代码不变，仅改变周围上下文以触发三种认知启发式：通过作者归属引发的光环效应、通过任务目标和后果引发的框架效应，以及通过先前分析结果引发的锚定效应。在该框架内，我们评估了八种 LLM，涵盖三种编程语言。结果表明，所有被评估的模型都容易受到这些启发式的影响。跨模型平均易感性最高的是框架效应，为 33.2%，其次是锚定效应 23.5% 和光环效应 18.4%。需要语义推理才能检测的漏洞比可通过模式匹配识别的漏洞更容易受到认知启发式的影响。此外，模型常常基于认知条件将判定从安全改为存在漏洞，却未能准确识别实际漏洞。为突出实际影响，我们展示了一个概念验证的黑盒认知攻击，可抑制高达 97\% 的先前检测到的漏洞。总之，这些发现表明认知偏差是基于 LLM 的漏洞检测中一个一致且可被利用的特性。
| 评论： | 已被 IEEE Symposium on Security and Privacy (IEEE S&P) 2027 接收 |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.30587 [cs.CR] |
| （或 arXiv:2606.30587v2 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.30587 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Asif Shahriar [查看电子邮件]
[v1]
2026年6月29日星期一 17:31:10 UTC（804 KB）
[v2]
2026年10月15日星期四 13:31:53 UTC（785 KB）
来源：arXiv cs.AI · arxiv.org