研究人员正在开发优化 GPU 内核的先进方法,这对于高效的 AI 模型推理至关重要。一种名为 KernelFoundry 的方法使用具有质量多样性搜索和元提示进化的进化框架来生成 SYCL 和 CUDA 内核,在 KernelBench 上实现了平均 2.3 倍的速度提升。另一个系统 Proteus 专注于极致的专业化,通过生成针对特定模型大小和运行时条件定制的内核,从而生成比 vLLM 中的内核快 1.8–5.2 倍的 Qwen 3.5 122B 内核。这两种方法都强调了强大的验证机制的重要性,以防止代理针对基准测试而非实际性能进行优化。 AI
影响 专用 GPU 内核生成有望为 AI 模型推理带来显著的性能提升和效率改进。
排序理由 该集群描述了新的研究论文和博客文章,详细介绍了优化 AI 工作负载 GPU 内核的新方法。
- arXiv
- CUDA
- graphics processing unit
- Hugging Face
- Kernel-Bench
- KernelFoundry
- MAP-Elites
- Nina Wiedemann
- Databricks
- Proteus
- Qwen 3.5 122B
- vLLM
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →