研究人员开发了KernelSeek,一种新颖的问答式AI代理,旨在优化GPU性能的CUDA内核。与依赖广泛工具包或固定策略的现有代理不同,KernelSeek使用有针对性的问题来指导其优化过程,实现了显著的加速。在测试中,KernelSeek通过达到FlashAttention-3性能的1.13倍,超越了一个工具丰富的自主代理,并随后为NVIDIA的Hopper和Blackwell架构生成了优化的FlashAttention内核,其速度分别比FlashAttention-3和FlashAttention-4快1.16倍和1.46倍。 AI
影响 这种问答式方法可以通过优化底层硬件内核,从而提高AI模型的执行效率。
排序理由 该集群描述了一篇研究论文,其中详细介绍了一种用于优化GPU内核的新型AI代理。
在 Hugging Face Daily Papers 阅读 →
- Blackwell
- Cublas
- CUDA
- cuDNN: Efficient Primitives for Deep Learning
- CuTe
- Cutlass
- FlashAttention
- Hopper
- Hugging Face
- KernelSeek
- FlashAttention-3
- FlashAttention-4
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →