Swap-AB

AWS 详解 SageMaker AI 的混合专家核优化

AWS 工程师详细介绍了 Amazon SageMaker AI 上混合专家 (MoE) 模型的核优化。这些优化通过将 token 路由、数据混洗和专用网络计算融合到 GPU 上的单个批处理操作中来提高性能。关键技术包括用于更好地利用 Nvidia Hopper 的 WGMMA 指令的 Swap-AB，以及用于 FP8 量化的 Triton 后端，旨在降低 MoE 架构的延迟和成本。