arXiv cs.AI· Zhimeng Jiang, Yuening Li, Ruixiao Sun, Yuanzhen Lin, Kun Jin, Chuan He, Liang Liu·· 3 天前AI 评分22
链维度扩展 CDS：面向工业短视频排序的通信高效循环式扩展
Chain Dimension Scaling: Communication-Efficient Loop-Style Scaling for Industrial Short-Video Ranking
AI 导读
研究提出链维度扩展（CDS），通过参数共享的单一特征交互块反复迭代，把迭代次数（链长）变成不增加参数的新扩展维度，并用轻量链内残差连接稳定优化。在生产级大规模多任务短视频排序系统中，压缩模式下 CDS 离线质量与基线差距在 0.03% 以内，可训练参数减少 26.6%，训练吞吐提升 6.4%；质量扩展模式下质量随链长单调提升。
正文 · AI 翻译
摘要：工业推荐排序模型在宽度和深度上不断扩展至数十亿参数，但这日益带来参数增长、分布式通信开销和训练效率低下的成本。我们提出\underline{C}hain \underline{D}imension \underline{S}caling（CDS），一种与宽度和深度正交的扩展策略。CDS 重复应用单个特征交互块，其参数在迭代间共享，因此迭代次数（链长）成为一个不增加参数的新扩展维度。轻量级的链内残差连接稳定了优化并提升了质量。CDS 支持两种模式。在\emph{压缩模式}下，具有更长链的浅层块以更少的参数和更快的训练匹配更深的基线；在\emph{质量扩展模式}下，在固定参数预算下增加链长可带来一致的离线和在线收益，表明链维度在参数复用之外增加了建模能力。我们在生产中的大规模多任务短视频排序系统中评估了 CDS。在压缩模式下，CDS 的离线质量与基线相差在 $0.03\%$ 以内，同时将可训练参数减少 26.6\%，训练吞吐量提升 6.4\%，在线参与度从中性到正向。在质量扩展模式下，质量随链长单调提升。挂钟时间分析表明，效率提升主要并非来自减少的 FLOPs，而是来自更低的跨设备同步开销和减少的优化器更新成本。这些结果将参数共享的迭代计算定位为工业排序系统的一种实用、通信高效的扩展轴。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.16415 [cs.AI] |
| （或 arXiv:2610.16415v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16415 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zhimeng Jiang [查看邮箱]
[v1]
2026年10月12日星期一 08:49:29 UTC（815 KB）
来源：arXiv cs.AI · arxiv.org