Event Tensor

Event Tensor 抽象统一了用于 LLM 推理的动态巨型内核

研究人员推出了一种新颖的编译器抽象 Event Tensor，旨在统一和优化现代 GPU 工作负载的动态巨型内核。该抽象解决了当前巨型内核技术在处理大型语言模型推理中常见的动态形状和数据依赖计算方面的局限性。Event Tensor Compiler (ETC) 利用此抽象生成高性能的持久内核，显著降低了 LLM 服务延迟和系统预热开销。