arXiv cs.AI· Xi Chen, Chunyi Zhou, Rui Zeng, Xiaogang Xu, Zhe Liu, Shouling Ji·· 3 天前AI 评分22
FedGraph：基于图聚合防御联邦大语言模型微调中的后门攻击
FedGraph: Defending Federated Large Language Model Fine-Tuning Against Backdoor Attacks via Graph-Based Aggregation
AI 导读
FedGraph 通过图聚合框架防御联邦 LLM 微调中的后门攻击，将客户端建模为动态图中的节点并提取结构特征，从而区分恶意与良性更新。实验显示其将攻击成功率降至 10% 以下，平均检测准确率达 95.5%，误报率仅 2.33%。该工作已被 ICLR 2026 Workshop on Principled Design for Trustworthy AI 接收。
正文 · AI 翻译
摘要：大语言模型（LLM）的联邦微调允许多个客户端在不共享原始数据的情况下协作适配模型，具有强大的隐私优势。然而，这种设置极易受到后门攻击，其中恶意客户端操纵其更新以诱导目标行为，同时在良性输入上保持正常性能。
在这项工作中，我们针对联邦 LLM 微调做出了一个关键观察：恶意客户端的模型更新往往表现出很强的一致性，而良性客户端产生的更新则更加多样和分散。这种结构性差异未被现有防御方法很好地捕捉，这些方法通常依赖于高维参数空间中的直接异常检测，因此在 LLM 更新相互纠缠的情况下难以奏效。
受此观察启发，我们提出了 FedGraph，一个基于图的聚合框架，显式地对客户端更新之间的关系进行建模。通过将客户端表示为动态构建图中的节点，并提取刻画其相对位置和交互的结构特征，FedGraph 推导出紧凑的客户端表示，有效区分恶意行为和良性行为。这些表示随后被用于在聚合过程中识别并抑制恶意贡献。
大量实验表明，FedGraph 显著提升了后门防御能力。它持续将攻击成功率降至 10% 以下，同时实现高检测准确率（平均 95.5%）和低假阳性率（2.33%），大幅优于现有的联邦学习防御方法。
| 评论： | 已被 ICLR 2026 可信 AI 原则设计研讨会接收。这是作者自有的预印本，并非官方会议论文集版本 |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.18430 [cs.CR] |
| （或 arXiv:2610.18430v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18430 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xi Chen [查看邮箱]
[v1]
2026年10月13日星期二 14:08:49 UTC（4,085 KB）
来源：arXiv cs.AI · arxiv.org