arXiv cs.AI· Georgios Alexopoulos, Nikolaos Alexopoulos, Diomidis Spinellis, Dimitris Mitropoulos·· 13 小时前AI 评分58
AI 过于顺从:通过偏见注入操纵自动化代码审查
When AI Agrees Too Much: Manipulating Automated Code Review via Bias Injection
AI 导读
研究考察 LLM 自动化代码审查(ACR)是否会被上下文偏见注入操纵,从而成为供应链攻击路径。作者先在 6 个 LLM、五种表述框架条件下确认框架效应普遍存在,再在 20 个真实项目的 33 个 CVE 上测试 Claude Code 和 CodeRabbit 两条流水线:模板式攻击无效甚至适得其反,而 LLM 辅助的迭代精炼攻击在 32/33(97%)案例中成功。
正文 · AI 翻译
摘要:集成大语言模型(LLM)的自动化代码审查(ACR)系统正越来越多地被应用于软件开发工作流中,从交互式助手到 CI/CD 流水线中的自主智能体。本文研究基于 LLM 的漏洞检测在 ACR 中如何受到框架效应的影响:即在形成判断时,倾向于让信息的呈现方式凌驾于其语义内容之上。我们考察攻击者能否通过上下文偏差注入(精心构造 PR 元数据以影响 ACR 的安全判断)将其作为供应链攻击向量,针对真实世界的 ACR 流水线加以利用。为此,我们首先在五种框架条件下对 6 个 LLM 开展大规模探索性研究,确立框架效应是基于 LLM 的漏洞检测中一种系统性且普遍存在的现象。
随后,我们设计了一个贴近真实且受控的实验环境,评估 20 个真实项目中的 33 个 CVE 以及两个流行的 ACR 流水线(Claude Code 和 CodeRabbit),以评估真实世界 ACR 流水线对漏洞重新引入攻击的易感性。我们采用两种攻击策略:受先前相关工作启发的基于模板的攻击,以及一种新颖的 LLM 辅助精炼攻击。我们发现,基于模板的攻击无效,甚至可能适得其反,因为直接的偏差尝试会引发怀疑。另一方面,我们的精炼攻击在 32/33(97%)的案例中取得成功,利用了根本性的不对称性:攻击者可以针对审查流水线的本地克隆迭代精炼攻击,而防御者只有一次检测机会。总体而言,我们的发现凸显了过度依赖 ACR 的危险,并强调了开发过程中人工监督和贡献者信任的重要性。
| Comments: | To appear at the 49th International Conference on Software Engineering (ICSE 2027) |
| Subjects: | 软件工程(cs.SE);人工智能(cs.AI);密码学与安全(cs.CR) |
| Cite as: | arXiv:2603.18740 [cs.SE] |
| (或 arXiv:2603.18740v5 [cs.SE] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2603.18740 由 DataCite 颁发的 arXiv DOI |
Submission history
来自:Georgios Alexopoulos [查看邮箱]
[v1]
2026年3月19日 星期四 10:40:27 UTC(350 KB)
[v2]
2026年4月23日 星期四 15:04:19 UTC(466 KB)
[v3]
2026年9月12日 星期六 16:58:07 UTC(513 KB)
[v4]
2026年9月23日 星期三 12:12:39 UTC(513 KB)
[v5]
2026年10月27日 星期二 14:45:00 UTC(508 KB)
来源:arXiv cs.AI · arxiv.org