arXiv cs.AI· Yu Dong, Hong Li, Qiang Sun, Xu Zhou, Jinbiao Huo, Qixiu Cheng, Zhiyuan Liu·· 10 小时前AI 评分31
LM-SimBench：面向大语言模型训练仿真的统一框架、数据集与基准
LM-SimBench: A Unified Framework, Dataset, and Benchmark for Large Language Model Training Simulation
AI 导读
研究者推出 LM-SimBench，一个用于评估 LLM 训练仿真器的统一框架、性能剖析数据集与基准。该数据集在 Ascend NPU 集群上剖析了 10 个稠密与 MoE 大模型家族的 23 个模型设置，得到 348 个可行配置，联合变化五个并行维度和激活重计算，并提供六种粒度视图。匹配的 GPU-NPU 实验验证了该收集与评估协议的跨平台适用性，并展示了 NPU 引导的 GPU 配置选择。
正文 · AI 翻译
摘要：通过分布式训练运行来评估候选并行化策略，在大规模场景下会使策略选择变得极其昂贵。性能模拟提供了一种成本更低的替代方案，然而现有模拟器之间的受控比较仍然困难，因为它们在所建模的训练阶段以及评估所用的工作负载上各不相同。我们推出 LM-SimBench，这是一个用于评估 LLM 训练模拟器的统一框架、剖析数据集和基准。该框架将模拟分解为从模型编译到调度级聚合的各个功能阶段，把执行表示和成本估算器与可度量的评估目标连接起来。依照该框架，我们在 Ascend 神经处理单元（NPU）集群上对来自 10 个稠密和混合专家（MoE）LLM 系列的 23 个模型设置进行了剖析。所得数据集包含 348 个可行配置，这些配置共同变化五个并行维度和激活重计算，并具有跨越配置、rank、算子、事件和内核粒度的六个视图。对代表性训练模拟器的评估展示了 LM-SimBench 如何支持预测准确性的比较、配置选择的评估以及预测错误的诊断。匹配的 GPU-NPU 实验验证了该采集与评估协议的跨平台适用性，并展示了 NPU 引导的 GPU 配置选择。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.14285 [cs.AI] |
| （或本版本的 arXiv:2611.14285v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.14285 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yu Dong [查看电子邮件]
[v1]
2026年11月10日星期二 16:26:19 UTC（9,218 KB）
来源：arXiv cs.AI · arxiv.org