Kyle Kranen

Megakernels：过时的研究还是性能突破？

关于AI推理中“megakernels”的讨论已经转变，许多人现在认为它们在生产环境中已经过时。虽然理论上可以减少启动开销，但优化这些融合内核的复杂性常常使其比NVIDIA的TensorRT-LLM等模块化方法更慢。NVIDIA的Rubin GPU等近期硬件进展似乎旨在进一步抑制megakernel的使用。尽管如此，Cursor发布了一个名为Mixture of Kittens的开源megakernel，声称取得了显著的性能提升。