跳到正文
arXiv cs.AI· Victor H. Chen, Hairui Yu, Stella K. Chung, Hong Yan·· 10 小时前AI 评分12

CIDERS:通过加速个性化双层优化实现云边 LLM 协同学习

CIDERS: Cloud-Edge LLM Collaborative Learning via Accelerating Personalized Bilevel Optimization

AI 导读

论文提出 CIDERS,一种将云边 LLM 协同建模为个性化双层优化框架的高效求解器,把模型分解为可学习骨干与 messenger,通过共识变量校正将全局轨迹嵌入本地个性化步骤。实验显示其在压缩边缘路径上数学推理和代码生成分别取得 3.1x 和 1.7x 提升,指令指标相对提升 10%。该论文因实验存在关键问题已被作者撤回。

正文 · AI 翻译

本文已被 Yi Yuan Dr 撤回

无 PDF 可用,点击查看其他格式

摘要:在物理世界智能快速发展的背景下,云边协同大语言模型(LLMs)已成为实际部署 LLM 的一条有前景的路线。然而,现有云边范式难以在全局共识与本地个性化之间取得平衡,无法满足云端统一知识基础与边缘领域特定适配的需求。为此,我们首次引入个性化双层优化框架,将云边 LLM 协作形式化为双重结构:上层优化边缘侧个性化,下层管理云端知识迁移,实现云边协同演进。随后我们提出 CIDERS,一种高效求解器,将模型分解为可学习骨干与信使。云端对可学习骨干执行知识迁移,关键在于通过共识变量校正将全局轨迹嵌入每个本地个性化步骤,以协调个性化与共识。我们提供了全面的理论分析,包括局部轨迹的几何刻画与完整的收敛保证,揭示了个性化与全局收敛之间明确的权衡结构。大量实验表明,CIDERS 在压缩边缘路径上持续优于竞争基线,在数学推理和代码生成上分别取得 3.1 倍和 1.7 倍的增益,在指令指标上取得 10\% 的相对增益。机制实验将这些增益归因于早期共识校正协调与任务感知蒸馏。总体而言,CIDERS 为云边 LLM 系统中共识引导的持续个性化提供了一条可行路径。
评论: 我们的实验中存在若干关键问题,必须尽快撤回以避免任何误导
主题: 分布式、并行与集群计算(cs.DC);人工智能(cs.AI)
引用为: arXiv:2609.15664 [cs.DC]
  (或 arXiv:2609.15664v3 [cs.DC] 为此版本)
  https://doi.org/10.48550/arXiv.2609.15664

arXiv 颁发的 DOI 通过 DataCite

提交历史

来自:Yi Yuan Dr [查看邮箱]
[v1] 2026年9月14日星期一 14:45:24 UTC(1,468 KB)
[v2] 2026年11月8日星期日 02:15:28 UTC(1 KB)(已撤回)
[v3] 2026年11月10日星期二 07:53:02 UTC(1 KB)(已撤回)

来源:arXiv cs.AI · arxiv.org