KV-stationary

MiniMax AI 内核在 Blackwell 上实现稀疏注意力 980 TFLOP/s

MiniMax AI 为 Blackwell 平台开发了新的 M3 内核，利用 KV 静态设计来优化长上下文稀疏注意力。该内核旨在克服稀疏注意力模型中数据依赖块选择带来的速度限制。通过每个选定块只读取一次，该系统在 Nvidia 的 B200 硬件上实现了约 980 TFLOP/s 的性能，保持了稀疏注意力的理论收益。