KDA Attention

Kimi K3 的海量规模尽管经过优化，仍需要密集的网络连接 · 跟踪 8 个来源

SemiAnalysis 报道称，拥有 2.8 万亿参数的 Kimi K3 模型，尽管经过了 Kimi Delta Linear Attention (KDA) 等优化，仍需要显著的网络带宽。该模型的架构需要 WideEP 服务优化，将 896 个专家分布在许多 GPU 上，导致密集的网络使用。这种复杂性意味着，虽然 KDA 减少了 KV 缓存传输，但 Kimi K3 的整体网络需求仍然很大，可能会影响 AI 网络交换机市场。