Event Tensor

Event Tensor 抽象统一了 LLM 的动态巨核编译

研究人员推出了一种新颖的编译器抽象 Event Tensor，旨在统一现代 GPU 工作负载的动态巨核编译。该抽象解决了当前巨核技术在处理大型语言模型 (LLM) 推理中常见的动态形状和数据依赖计算方面的局限性。Event Tensor Compiler (ETC) 利用此抽象生成高性能的持久核，展示了最先进的 LLM 服务延迟并降低了系统预热开销。