M2 Browning

Qwen2模型通过Metal后端优化性能提升15倍

一位开发者通过实现一个融合的Scaled Dot-Product Attention (sdpa) 内核，优化了Qwen2模型在Apple Metal后端上的性能。这项优化显著加速了单token的Metal解码步骤，使得更大的Qwen2.5模型的每层性能提升高达15.2倍。增强的后端通过直接索引KV头，避免了物化K和V张量的扩展副本，从而减少了内存带宽瓶颈，并带来了约28%的端到端生成吞吐量提升。