跳到正文
arXiv cs.AI· Yanjie Dong·· 23 小时前AI 评分18

面向通信高效拜占庭鲁棒联邦学习的投影惩罚梯度跟踪框架

Projected Penalty-Gradient Tracking for Communication-Efficient Byzantine-Resilient Federated Learning

AI 导读

针对压缩上传会破坏惩罚方法的拜占庭鲁棒性,提出投影惩罚梯度跟踪框架:诚实节点上传惩罚梯度的压缩残差,服务器将重建状态投影到已知惩罚梯度球上,兼容任意收缩压缩器。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:我们研究了在异构数据集上的通信高效联邦学习,其中存在能够上传任意信息的拜占庭对手。基于惩罚的方法通过惩罚函数的有界梯度来限制每个工作节点的影响;然而,一旦上传被压缩,这种界限就会丢失,因为拜占庭工作节点可以在服务器端累积无界状态。为了在压缩上传下保持拜占庭韧性,我们提出了一个投影惩罚梯度跟踪框架,其中每个诚实工作节点上传其惩罚梯度的压缩残差,服务器将每个重建状态投影到已知的惩罚梯度球上。该框架适用于任何收缩压缩器,并产生两种算法:具有一致稀疏化的故障韧性近端梯度(FRPG-CS),其共享掩码由新抽取的保留行保护;以及惰性聚合 FRPG(LAG-FRPG),其上传由事件触发。对于平滑且强凸的损失,我们建立了期望目标间隙的有限时间界,其中拜占庭误差下限与压缩器无关,且压缩误差比优化误差衰减得更快。我们还界定了预期惰性上传次数,并推导出将有限惩罚模型偏差与优化误差分离的证书。在 MNIST 和 Fashion-MNIST 上的实验表明,所提出的算法在 Min-Max 攻击下在十二种方法中达到了最高准确率,而压缩动量基准和局部更新基准分别在无攻击准确率和总流量方面仍然更可取。
主题: 机器学习(cs.LG);人工智能(cs.AI)
引用为: arXiv:2611.22929 [cs.LG]
  (或 arXiv:2611.22929v1 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22929

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Yanjie Dong [查看电子邮件]
[v1] 2026年11月17日星期二 15:28:03 UTC(116 KB)

来源:arXiv cs.AI · arxiv.org