跳到正文
Hacker News· gmays·· 5 小时前AI 评分71

预训练数据投毒可在智能体中植入远程代码执行后门

Agentic backdoors via pretraining poisoning

AI 导读

研究显示,在预训练语料中投毒即可在智能体中植入远程代码执行后门,使其在触发条件下执行攻击者指定的命令。作者从零预训练 0.6B、1.7B、4B 三个规模的 Qwen3 模型,再用干净流程后训练为 CLI 智能体,仅污染 0.1% 的预训练语料就能植入后门,4B 模型攻击成功率约 92%,投毒率降至 0.0005% 时仍有效。代码已公开。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型语言模型是在从公共网络抓取的大量未经整理的语料库上预训练的。这带来了安全风险:攻击者可以在预训练数据中植入投毒内容。我们首次证明,这种投毒可以在智能体中植入远程代码执行后门,使其在用户机器上执行攻击者选定的命令。为了端到端地衡量这一威胁,我们从零开始预训练了 0.6B、1.7B 和 4B 三种规模的 Qwen3 模型,然后使用干净的流水线将每个模型后训练为 CLI 智能体。仅用我们新的投毒设计污染 0.1% 的预训练语料库即可植入后门:部署后的智能体在触发条件出现时执行恶意命令,而在干净输入上表现正常。攻击成功率(ASR)随模型规模增大而上升,4B 模型在 0.1% 投毒率下达到约 92% 的 ASR,即使投毒率降至 0.0005% 仍保持为正。我们的代码可在 此 https URL 获取。
主题: 密码学与安全(cs.CR);计算与语言(cs.CL);机器学习(cs.LG)
引用为: arXiv:2610.37741 [cs.CR]
  (或 arXiv:2610.37741v1 [cs.CR] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.37741

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Xinyan Hu [查看电子邮件]
[v1] 2026 年 10 月 27 日星期二 16:53:52 UTC(518 KB)

来源:Hacker News · arxiv.org