arXiv cs.AI· Pengxin Guo, Shuang Zeng, Zonggen Li, Weiying Zheng, Mengting Liu, Liangqiong Qu·· 9 天前AI 评分23
Fed-GRPO：奖励信号驱动的联邦群体相对策略优化
Fed-GRPO: Reward-Signal-Driven Federated Group Relative Policy Optimization
AI 导读
Fed-GRPO 是一个联邦 GRPO 训练框架，让多个客户端在不共享原始数据的前提下协作训练 LLM 推理能力，并利用 GRPO 训练中自然产生的奖励统计作为零成本信号。它包含信号加权聚合、全局奖励校准和自适应稀疏通信三种机制。在数学推理任务上，其性能优于 FedAvg 并接近集中式训练，通信量无损降低 32 倍，在紧张带宽预算下最高支持 621 倍压缩且精度仅轻微下降。
正文 · AI 翻译
摘要：大型语言模型（LLMs）在使用强化学习（RL）进行微调时展现出强大的推理能力，尤其是通过组相对策略优化（GRPO）。然而，现有的 GRPO 方法假设可以集中访问训练数据，这在实践中可能因隐私或监管限制而无法实现。为此，我们提出 Fed-GRPO，一种联邦 GRPO 训练框架，通过在不共享原始数据的情况下实现协作推理训练来解决这些隐私限制，该框架利用 GRPO 训练过程中自然产生的奖励统计量作为零成本信号来指导聚合、本地训练和通信。Fed-GRPO 包含三种奖励信号驱动的机制：(i) \emph{信号加权聚合}，根据客户端的奖励标准差对其进行加权，优先考虑具有更强学习信号的客户端；(ii) \emph{全局奖励校准}，基于本地-全局奖励差距重新加权每个提示的目标，引导每个客户端关注其相对弱点；(iii) \emph{自适应稀疏通信}，根据每个客户端更新的信息量分配带宽。在数学推理任务上的大量实验表明，Fed-GRPO 在所有联邦方法中取得了最佳性能，明显优于 FedAvg 并接近集中式训练性能，同时无损地将通信减少 $32\times$，并在严格带宽预算下支持高达 $621\times$ 的压缩，且仅有轻微的精度下降。我们的代码可在 此 https URL 获取。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.11502 [cs.AI] |
| （或 arXiv:2610.11502v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11502 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Pengxin Guo [查看电子邮件]
[v1]
2026年10月8日星期四 08:40:41 UTC（364 KB）
来源：arXiv cs.AI · arxiv.org