Deepgram将Nova-3移植至AWS Trainium2

Deepgram与AWS合作，将Nova-3语音转文字模型移植到AWS自研AI芯片Trainium2上运行，并分享了推理优化实践。据AWS博客，单台trn2.3xlarge实例可运行8个模型副本；在Deepgram的离线、以吞吐量为导向的批处理负载上，按评估时的实例价格计算，该方案每美元处理的音频量比Deepgram原有算力方案高11%–70%。 优化涉及将Nova-3移植到AWS Neuron软件栈、进行内核级调优，以及用数据并行的Rust运行时让Deepgram自有模型服务器调用Trainium。AWS称，这些收益也可能惠及在自有VPC中通过Amazon SageMaker AI自托管Deepgram模型的客户。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。