Deepgram将Nova-3移植至AWS Trainium2

Deepgram与AWS Forward Deployed Engineering团队合作，将Nova-3语音转文字模型移植到AWS Trainium2，在单台trn2.3xlarge实例上运行8个模型副本。Deepgram称，在离线、以吞吐量为导向的批处理场景下，该方案每美元处理的音频量比其原有算力方案提升11%–70%。 这一结果按评估时的实例价格计算，吞吐量是相对基线配置的增幅，而非每秒处理的绝对音频量；团队在1–128范围内调整批大小以找到吞吐量最大的取值。Deepgram称，这些收益也可能惠及在自有VPC中通过Amazon SageMaker AI自托管其模型的客户。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。