NVIDIA TensorRT 11.1 推出全局性能调优器
热点事件持续更新
NVIDIA TensorRT 11.1 推出全局性能调优器
2 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
NVIDIA 在 TensorRT 11.1 中推出 Global Performance Tuner,称其可在 TensorRT 内实现自动、精度感知的端到端性能调优,针对不同模型定制优化策略,以突破单一构建路径的性能优化限制。 NVIDIA 技术博客称,TensorRT 构建引擎时需在计算图变换、融合、实现选择、内存布局与量化等相互依赖的环节做调度决策,单一构建路径难以覆盖所有最优解,因此需要把优化扩展到单一构建路径之外。 该系列博客分上下两篇:上篇介绍这一调优器,下篇结合 11.1 版本说明其自动调优能力;目前披露的是功能定位与设计思路,未给出具体性能提升数据。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
10月24日
- NVIDIA Technical BlogNVIDIA TensorRT 11.1 Global Performance Tuner:突破单一构建路线的性能优化(第二部分)
NVIDIA TensorRT 11.1 推出 Global Performance Tuner,可在 TensorRT 内实现自动、精度感知的端到端性能调优,针对不同模型定制不同优化策略。该功能旨在突破单一构建路线的性能优化限制,系列第一部分已介绍深度学习调度环节面临的挑战。
- NVIDIA Technical BlogNVIDIA TensorRT 如何用 Global Performance Tuner 突破单一构建路径的性能优化限制(上)
NVIDIA TensorRT 构建引擎时需在计算图变换、融合、实现选择、内存布局与量化上做相互依赖的调度决策,单一构建路径难以覆盖所有最优解。Global Performance Tuner 用于把性能优化扩展到单一构建路径之外,本篇为上篇。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。