wideEP

SemiAnalysis称Kimi K3模型的规模和效率将提振AI硬件需求

SemiAnalysis认为，尽管Kimi K3模型采用了线性注意力和较低的KV缓存需求，但它对NVIDIA和更广泛的AI硬件生态系统是有益的。该模型拥有庞大的2.8万亿参数，需要大规模的基础设施，包括NVL72等专用机架，其WideEP优化虽然增加了网络带宽需求，但却是为这类系统设计的。此外，杰文斯悖论表明，AI效率的提高最终将导致更广泛的应用，从而增加对GPU、HBM、DRAM和网络基础设施的需求。