arXiv cs.AI· Anshu Raina, Peyman Razaghi, Yuankai Chen, Cheng Yao, Yao Fu, Vidushi Goyal, Devang Patel, Wen Xie, Zhenyu Gu, Emad Barsoum·· 1 天前AI 评分34
Primus Projection：用混合投影与自动调优替代分布式训练的试错循环
Beyond the Trial-and-Error Loop: Hybrid Projection and Automated Tuning for Distributed Training
AI 导读
Primus Projection 用混合投影引擎加 Primus Tuning Agent 替代分布式 LLM 训练的多节点试错调参：前者以单卡微基准测量加解析外推，纯 CPU 模式也能完成预硅规划，后者把投影当作秒级评分预言机驱动配置搜索。
正文 · AI 翻译
摘要：在数百块 GPU 上配置分布式 LLM 训练，需要同时优化张量并行、流水线并行、专家并行、上下文并行和数据并行，以及微批大小、重计算、分片和重叠；这是一个组合空间，其中内存合法性可能取决于激活值记账的单个字节。如今，团队通过昂贵的多节点试错来摸索，在崩溃和次优配方上耗费大量 GPU 小时。我们提出 Primus Projection，它通过两个耦合组件闭合这一循环。第一，一个混合投影引擎，能测量的就测量，不能测量的就模拟：在少至单块设备上运行 GPU 微基准测试，捕获计算内核和任何范围内的通信；一个子节点降规模-测量-升规模的工作流，以分析方式在多节点目标上恢复范围外的集合通信、FSDP 重叠和完整流水线调度。纯模拟模式完全在 CPU 上运行，无需任何 GPU 即可进行流片前规划。第二，Primus Tuning Agent 将投影引擎视为快速评分预言机（每个候选只需数秒而非数十分钟），并用它驱动对配置空间的智能搜索。一个确定性种子规划器扫描单轴；一个 LLM 调查循环提出规划器无法触及的跨轴组合，并带有分析式内存预过滤器，在花费任何 GPU 时间之前就拒绝不可行的候选。在 Llama 3.1（稠密）和 Mixtral 8x22B（MoE）上跨两代 GPU 验证，所有投影与实测多节点吞吐量的偏差均在约 10% 以内，且保真度在生产规模下依然成立：DeepSeek V3 671B 在 1,024 块 GPU 上误差为 4.7%，Qwen3-235B-A22B 在 256 块 GPU 上误差为 1.9%。在 Mixtral 8x22B 案例研究中，Primus Tuning Agent 在不到 30 分钟的单节点探索中，发现了一种配置，在相同规模下比已发表的 4 节点 BF16 参考实现吞吐量提升 +27%。
| 评论： | 被 NeurIPS 2026 接收。22 页，7 幅图，25 张表 |
| 主题： | 人工智能（cs.AI）；分布式、并行与集群计算（cs.DC） |
| 引用为： | arXiv:2610.19423 [cs.AI] |
| （或此版本的 arXiv:2610.19423v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.19423 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Anshu Raina [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 02:15:28 UTC（357 KB）
[v2]
2026 年 11 月 12 日星期四 02:49:44 UTC（326 KB）
来源：arXiv cs.AI · arxiv.org