arXiv cs.AI· Chuan Li, Qianyi Zhao, Fengran Mo, Cen Chen·· 10 天前AI 评分23
FedCoT：面向大语言模型的通信高效联邦推理增强框架
FedCoT: Communication-Efficient Federated Reasoning Enhancement for Large Language Models
AI 导读
FedCoT 是一个联邦推理框架，通过轻量级思维链重采样配合紧凑判别器进行筛选，并用客户端感知的 LoRA 堆叠与加权分类器聚合来应对数据异构、降低聚合噪声和通信开销。客户端在本地生成候选推理链和监督信号，服务器只聚合轻量模块。在医疗推理基准上，该方法在紧张资源预算下取得稳定提升，同时保持数据本地化与隐私。代码已公开。
正文 · AI 翻译
摘要：在联邦环境下增强 LLM 推理并非易事，因为存在严格的计算、通信和隐私约束，尤其是在医疗领域，具有临床后果的决策不仅需要准确性，还需要可解释、可审计的推理依据，以满足安全性、问责制和监管要求。传统的联邦微调在很大程度上模仿最终答案，而不是培养逐步推理，往往依赖隐私敏感的集中式蒸馏，并且仍然产生大量的通信开销。我们通过 \textbf{\ours{}} 来弥补这一空白，这是一个联邦推理框架，它将轻量级思维链重采样与用于选择的紧凑判别器相结合，并通过客户端感知的 LoRA 堆叠与加权分类器聚合来适应异构性，同时减少聚合噪声和通信；客户端在本地生成候选链和监督信号，服务器上仅聚合轻量级模块。在医学推理基准上的实验表明，在紧张的资源预算下能够持续获得收益，同时保持数据本地化并尊重隐私，提供了一种可解释且资源高效的解决方案。我们的代码已在 此 https URL 公开提供
| 评论： | EMNLP 2026 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2508.10020 [cs.CL] |
| （或 arXiv:2508.10020v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2508.10020 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Chuan Li [查看电子邮件]
[v1]
2025年8月7日星期四 06:50:15 UTC（233 KB）
[v2]
2026年10月6日星期二 10:02:44 UTC（266 KB）
来源：arXiv cs.AI · arxiv.org