Deepgram 已通过将其 Nova-3 语音转文本模型移植到 AWS Trainium2 芯片,针对大规模离线批量推理进行了优化。与 AWS Forward Deployed Engineering 团队的合作涉及使用 AWS Neuron 软件堆栈和 PyTorch 重建。与之前的计算选项相比,优化后的配置使每美元处理的音频量增加了 11-70%,使 Deepgram 能够更有效地扩展并为客户提供更低的价格。 AI
影响 展示了专用 AI 硬件如何提高推理效率并降低语音 AI 工作负载的成本。
排序理由 这是一个关于公司在新硬件上优化现有产品的案例研究,而不是新产品发布或基础研究。
在 Mastodon — mastodon.social 阅读 →
- AWS
- AWS Forward Deployed Engineering
- AWS Neuron
- AWS Trainium
- AWS Trainium2
- Deepgram
- Nova-3
- Amazon SageMaker AI
- PyTorch
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →