本文汇集了10个免费的LLM推理工程学习资源,涵盖了KV缓存、批处理、服务引擎和GPU内核等关键主题。资源包括Modular的手册、Hugging Face的连续批处理解释、斯坦福大学和麻省理工学院的大学讲座,以及对vLLM和Mini-SGLang等特定引擎的深入探讨。文章还推荐了GPU MODE讲座和Triton教程,以获取进一步的优化知识。 AI
影响 为开发人员提供了一条结构化的学习路径,以优化LLM推理性能。
排序理由 这篇文章是为学习特定技术技能而精心挑选的现有资源列表,而不是新的发布或重大的行业事件。
- Aleksa Gordic
- CUDA
- Flashattention
- FlashInfer
- Google/Deepmind
- Hugging Face
- KV cache
- Mini-SGLang
- MIT
- Modular
- Nvidia
- SGLang
- Song Han
- Stanford University
- vLLM
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →