arXiv cs.AI· Ali Mohammadi Ruzbahani, Abbas Yazdinejad, Hadis Karimipour·· 11 小时前AI 评分26
FedReason：用大语言模型充当异构联邦学习的权重空间元聚合器
FedReason: Large Language Models as Weight-Space Meta-Aggregators for Heterogeneous Federated Learning
AI 导读
FedReason 让 LLM 每十轮在服务器端沙箱中分析客户端模型权重，并提交一段 Python 聚合程序，无需服务器端训练。
正文 · AI 翻译
摘要：联邦学习服务器以固定的聚合规则合并客户端模型，而常用的每条规则都针对一种异构性设计。我们研究一个检查客户端模型的大语言模型（LLM）能否在服务器端不做任何训练的情况下自行选择规则。在 FedReason 中，每十轮调用一次 LLM。它通过在受限的服务器端沙箱中运行代码来分析权重，只能看到打印结果，可以在 500 张图像的代理集上为若干候选规则打分，并提交一段简短的 Python 聚合程序。服务器应用该程序直到下一次调用，当其输出无效时回退到 FedAvg。完整权重张量从不离开服务器。我们在 CIFAR-10 和 CIFAR-100 上使用 ResNet-18，在 Dirichlet 标签偏斜、宽度异构子模型和拜占庭客户端条件下，用 Claude Opus 5.5 评估 FedReason，共进行 168 次运行，对比 14 个基线。在 12 次配对的标签偏斜运行中，它平均比 FedAvg 高出 1.26 个百分点（10 次胜出），比将相同每轮代理预算用于在标准规则间选择的对照组高出 1.08 个百分点。它是 CIFAR-100 上最强的服务器端规则，但未能超过会改变客户端训练的 SCAFFOLD。在十个客户端中有三个恶意时，它从第一轮起就排除了所有符号翻转客户端，并在不训练根模型的情况下比 FLTrust 低约一个百分点。没有代理反馈时，某个种子下的准确率从 73.8% 降至 38.8%。一次 60 轮运行平均花费 0.79 美元的 API 费用。
| 评论： | Ali Mohammadi Ruzbahani（通讯作者） |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.08383 [cs.CR] |
| （或 arXiv:2611.08383v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08383 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ali Mohammadi Ruzbahani [查看电子邮件]
[v1]
2026年11月5日星期四 18:00:58 UTC（433 KB）
来源：arXiv cs.AI · arxiv.org