一个名为 Geezuz 的开源 megakernel 的新分支已被开发出来,旨在显著提升 Qwen3.8-27B 模型在双 RTX 3090 GPU 上的性能。这种内核架构允许整个前向传播作为一个单一的持久性 CUDA 内核运行,该分支专门针对同步并通过 PCIe 交换数据的两块显卡进行了优化。基准测试表明,Geezuz 在单个请求时可达到高达 190 tokens/秒,在 8 个并发请求时可达到 622 tokens/秒,性能优于 llama.cpp,接近 vLLM 的性能。 AI
影响 这种内核优化可能导致大型语言模型更快的本地推理速度,从而改善用户体验,并在消费级硬件上实现新的应用。
排序理由 现有模型和硬件的新内核优化。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →