arXiv cs.AI· Zhanhong Jiang, Qisai Liu, Soumik Sarkar·· 11 小时前AI 评分22
观点论文：为何分布式 LLM 后训练与去中心化对齐如今不可或缺
Vision Paper: Why Distributed LLM Post-Training and Decentralized Alignment Are Now Essential
AI 导读
一篇观点论文主张分布式学习（含联邦与去中心化）应成为 LLM 后训练的一等范式，而非仅作隐私附加项。作者指出 RLHF 和 DPO 隐含“偏好数据应集中”的假设，并从隐私与数据主权、多元性与代表性公平、鲁棒性与可扩展性三方面论证其不成立。文章形式化了 reference drift、偏好异质性和对比损失的 DP-效用权衡等挑战，并提出算法方向与研究议程。
正文 · AI 翻译
摘要：这篇愿景论文主张，分布式学习（包括联邦学习和去中心化学习）应成为 LLM 后训练中的一等范式，而不仅仅是隐私附加项。当前 RLHF 和 DPO 等方法建立在一个隐性假设之上：偏好数据应当集中化。我们认为这一假设在科学上缺乏依据、在实践中不可持续，在伦理上也有问题。随着 LLM 部署到医疗、法律、金融和多语言社区，偏好数据来自无法或不愿集中化的人群。我们提出一个由三大支柱构成的论证，分别基于（1）隐私与数据主权，（2）多元性与表征公平，（3）鲁棒性与可扩展性。我们形式化了这一交叉领域特有的关键技术挑战：引用漂移、偏好异质性，以及对比损失的 DP-效用权衡，并提出具体的算法方向，勾勒研究议程。我们的分析表明，分布式后训练不仅必要，而且可行；忽视它可能导致 AI 在法律上不合规、表征狭窄，并在规模化时脆弱。
| 评论： | 10 页，4 幅图，IEEE BigData 2026 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.05841 [cs.AI] |
| （或 arXiv:2611.05841v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05841 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhanhong Jiang [查看邮箱]
[v1]
2026 年 11 月 4 日星期三 02:30:51 UTC（314 KB）
来源：arXiv cs.AI · arxiv.org