TritonMoE

TritonMoE 内核实现跨平台 MoE 推理

研究人员开发了 TritonMoE，这是一种用于专家混合（MoE）模型的新推理内核，完全使用 OpenAI 的 Triton 语言编写。该内核实现了跨平台兼容性，无需供应商特定的代码即可在 NVIDIA 和 AMD 硬件上运行。它展示了显著的性能提升，在较短的 token 序列吞吐量方面优于 Megablocks 等现有方法，尽管在非常长的上下文或大量专家方面存在局限性。