Together AI 推出了采用 NVIDIA Blackwell 平台的新 GPU 集群,显著加快了 AI 训练和推理速度。这些集群由 Together Kernel Collection 提供支持,与之前的 NVIDIA H100 硬件相比,训练速度最高可提高 90%,处理大型模型的速度超过每秒 15,000 个 token。Salesforce 和 Zoom 等早期客户已报告了显著的性能提升,其中一些客户的训练速度翻倍。Together AI 的优化工作涵盖自定义内核、推理引擎和投机解码,旨在重新定义 AI 模型开发和部署的效率。 AI
影响 加速 AI 训练和推理,可能降低企业模型开发和部署的成本并提高其速度。
排序理由 该集群详细介绍了主要云服务提供商通过利用领先芯片制造商的新硬件,对 AI 工作负载进行的重大基础设施升级和性能改进。
- FlashAttention-3
- Llama-2-70B
- MLPerf Inference v4.1
- NVIDIA Blackwell
- NVIDIA HGX B200
- NVIDIA HGX H100
- Together AI
- Together Kernel Collection
- Tri Dao
- DeepSeek-R1-0528
- InVideo
- Salesforce
- Zoom
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →