FastAFD

FastAFD引擎在NVLink系统上提升MoE模型服务吞吐量

一篇新的研究论文介绍FastAFD，这是一种旨在提高在GB200 NVL72等机架规模NVLink系统上服务大型混合专家（MoE）模型效率的引擎。FastAFD将注意力与专家分离，允许它们并发处理，与标准的vLLM配置相比，Qwen3和Qwen3.5等模型的吞吐量提高了1.17倍。该论文还提出了一个分析模型来预测AFD的性能优势，表明当更大批次大小和改进的重叠带来的收益超过分离成本时，AFD最具优势。