Google 已将其张量处理单元 (TPU) 用于外部 AI 工作负载,Meta 是首个在生产环境中部署它们的重量级客户。此举得益于 SGLang 和 vLLM 等新的开源推理引擎原生支持 PyTorch,使 Meta 能够在无需迁移到 Google 的 JAX 框架的情况下,在 Google 的定制硬件上运行 AI 模型。此次合作旨在减少对英伟达硬件和软件生态系统的依赖,性能基准测试表明,在某些场景下 TPU 的表现可能优于英伟达的 GB200 芯片。 AI
影响 加速定制 AI 芯片的采用,并使硬件选项超越英伟达实现多元化,可能降低 AI 推理的成本并提高性能。
排序理由 主要科技公司(Google 和 Meta)之间的合作,为 AI 工作负载部署定制 AI 硬件(TPU),挑战占主导地位的竞争对手(英伟达)。
在 Mastodon — mastodon.social 阅读 →
- Google.Cloud
- Jana van Greunen
- Kimi K3
- Meta*
- Moonshot AI
- Nvidia
- PyTorch
- PyTorch/XLA
- RadixArk
- SemiAnalysis
- SGLang
- TorchNeuron
- TorchTPU
- Trainium2
- Trainium3
- vLLM
- Zongwei Zhou
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →