跳到正文
热点事件持续更新

NVIDIA TensorRT 11.1 推出全局性能调优器

2 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

NVIDIA 在 TensorRT 11.1 中推出 Global Performance Tuner,称其可在 TensorRT 内实现自动、精度感知的端到端性能调优,针对不同模型定制优化策略,以突破单一构建路径的性能优化限制。 NVIDIA 技术博客称,TensorRT 构建引擎时需在计算图变换、融合、实现选择、内存布局与量化等相互依赖的环节做调度决策,单一构建路径难以覆盖所有最优解,因此需要把优化扩展到单一构建路径之外。 该系列博客分上下两篇:上篇介绍这一调优器,下篇结合 11.1 版本说明其自动调优能力;目前披露的是功能定位与设计思路,未给出具体性能提升数据。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月24日
  1. NVIDIA Technical Blog
    NVIDIA TensorRT 11.1 Global Performance Tuner:突破单一构建路线的性能优化(第二部分)

    NVIDIA TensorRT 11.1 推出 Global Performance Tuner,可在 TensorRT 内实现自动、精度感知的端到端性能调优,针对不同模型定制不同优化策略。该功能旨在突破单一构建路线的性能优化限制,系列第一部分已介绍深度学习调度环节面临的挑战。

  2. NVIDIA Technical Blog
    NVIDIA TensorRT 如何用 Global Performance Tuner 突破单一构建路径的性能优化限制(上)

    NVIDIA TensorRT 构建引擎时需在计算图变换、融合、实现选择、内存布局与量化上做相互依赖的调度决策,单一构建路径难以覆盖所有最优解。Global Performance Tuner 用于把性能优化扩展到单一构建路径之外,本篇为上篇。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。