NVIDIA Technical Blog· Tanya Lenz·· 3 小时前AI 评分22
NVIDIA TensorRT 如何用 Global Performance Tuner 突破单一构建路径的性能优化限制（上）
Scaling NVIDIA TensorRT Performance Optimization Beyond a Single Build Route with the Global Performance Tuner, Part 1
AI 导读
NVIDIA TensorRT 构建引擎时需在计算图变换、融合、实现选择、内存布局与量化上做相互依赖的调度决策，单一构建路径难以覆盖所有最优解。Global Performance Tuner 用于把性能优化扩展到单一构建路径之外，本篇为上篇。
正文 · AI 翻译
部署一个训练好的神经网络，并不仅仅是把每个算子翻译成 GPU 内核。这是一个编译问题，存在许多合理的答案。例如……
部署一个训练好的神经网络，并不仅仅是把每个算子翻译成 GPU 内核。这是一个编译问题，存在许多合理的答案。例如，当 NVIDIA TensorRT 构建引擎时，它会就图 IR 变换、融合、实现选择、内存放置和量化做出相互依赖的决策。这一过程被称为调度。
来源：NVIDIA Technical Blog · developer.nvidia.com