tensorcore

TPUv7 推出 SparseCore，吞吐量提升 12%，性能超越 Blackwell Ultra

TPUv7 配备了一个称为 SparseCore 的专用硬件单元，用于通过对专家 token 进行分组来管理数据移动。此优化与用于矩阵乘法的 TensorCore 结合使用时，可将吞吐量提高 12%。结合其他增强功能和更低的总体拥有成本，与 Blackwell Ultra 相比，TPU 技术提供了高达 50% 的每美元性能提升，这在 InferenceX 等基准测试中尤为明显。