HotAisle

MoonMath AI 开源 HIP Attention Kernel 以支持 AMD MI300X，性能超越 AITER v3

MoonMath AI 已开源一个用于 AMD MI300X GPU 的新型 bf16 前向注意力内核，该内核使用 HIP 编写。据报道，该内核在各种配置下均优于 AMD 自家的 AITER v3，速度提升高达 1.26 倍。性能提升归因于战略性的内存放置和一种新颖的单指令汇编包装器技术，该技术允许在利用编译器进行寄存器分配优化的同时，精确控制操作。这项进展已集成到 SGLang 中，以加速 Wan2.1 等视频扩散模型。