GPUMODE Readonflow团队通过AMD内核黑客马拉松，将MI355X的端到端性能提升了2倍以上。这些优化专注于W4A4 MoE内核、Top-K内核和张量并行all-reduce内核，已集成到AMD的AITER内核库和ATOM推理引擎中。该团队旨在将这些改进上游推送到vLLM，以实现与CUDA vLLM的性能对等，从而促进社区在ROCm堆栈优化方面的经验。 AI
影响 这些内核优化可以显著提高AMD硬件上的推理速度，有可能缩小与NVIDIA的CUDA堆栈之间的性能差距。
排序理由 该集群详细介绍了具体的内核优化及其与软件库的集成，代表了在提高硬件性能方面的研究里程碑。
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →
@GPU_MODE This work has been upstreamed to the main branch of @AIatAMD’s AITER kernel library and to the ATOM inference engine. We hope this work will also be upstreamed to vLLM so that AMD vLLM can reach performance parity with CUDA vLLM. 3/4🧵
@GPU_MODE They focused on optimizing W4A4 MoE kernels, Top-K kernels, tensor-parallel all-reduce kernels, and the MLA decode metadata planner. 2/4🧵 https://t.co/SWFbh16Op0
GREAT WORK BY @GPU_MODE 🚨 FOR LAUNCHING THE $1.1mil AMD KERNEL HACKATHON. The GPUMODE Readonflow Team’s kernels improved end-to-end MI355X performance by over 2x. We explain the optimizations below. 1/4🧵 https://t.co/2n1boLQi2j