研究人员推出了一种新颖的编译器抽象 Event Tensor,旨在统一现代 GPU 工作负载的动态巨核编译。该抽象解决了当前巨核技术在处理大型语言模型 (LLM) 推理中常见的动态形状和数据依赖计算方面的局限性。Event Tensor Compiler (ETC) 利用此抽象生成高性能的持久核,展示了最先进的 LLM 服务延迟并降低了系统预热开销。 AI
影响 有潜力显著降低 LLM 服务延迟并提高系统效率。
排序理由 学术论文,详细介绍了一种新的编译器抽象及其实现。
在 Mastodon — fosstodon.org 阅读 →
- arXiv
- Event Tensor
- Event Tensor Compiler
- graphics processing unit
- Hongyi Jin
- Hugging Face
- large language model
- LLM inference
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →