研究人员开发了一个新的框架，通过战略性地组合多个巨型内核而不是依赖单个单体内核来优化AI模型的流式推理。该方法在NH-TTS、Qwen3-TTS和Llama-1B模型上进行了测试，发现最佳性能通常涉及两个到四个专用巨型内核或完全传统的图执行。该框架通过模拟瓦片和事件图来预测最佳配置，避免了完整的端到端运行。对于H100 NVL GPU上的NH-TTS模型，该方法与单个巨型内核设计相比，首次音频生成时间减少了21.4%，吞吐量提高了28%，并且显著优于传统的TensorRT执行。 AI
影响 这项研究可能显著提高AI模型推理的速度和效率，尤其是在实时应用中。
排序理由 该集群描述了一篇学术论文中提出的用于优化AI模型推理的新颖框架和方法论。
在 Hugging Face Daily Papers 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2610.35336v1 Announce Type: cross Abstract: We address a fundamental question: How far should kernel fusion extend and which boundaries are worth preserving? Unlike the general convention of using one monolith megakernel at lower batch sizes or supporting only a selective m…
We address a fundamental question: How far should kernel fusion extend and which boundaries are worth preserving? Unlike the general convention of using one monolith megakernel at lower batch sizes or supporting only a selective model component as megakernel and rest of the model…