跳到正文
RadarAI· Mr Panda·· 3 小时前AI 评分38

模型权重反推 GPU 训练硬件的原理解析

AI 导读

通过模型权重中的初始化指纹可反推训练所用 GPU 类型:PyTorch 在 CUDA 上使用的 Philox 随机数生成器产生的初始权重排列依赖 GPU 的 SM 数量,Hopper 为 132、Blackwell 为 148、Grace Blackwell 为 152,据此暴力搜索芯片布局即可匹配硬件型号。

来源:RadarAI · bestblogs.dev