AgentCompile

大语言模型驱动的编译器加速了Transformer的CUDA推理

研究人员开发了AgentCompile，这是一种利用大语言模型（LLMs）优化CUDA上Transformer推理的新型编译器。 AgentCompile使用大语言模型的输出来作为指导性元数据，以指导专门化和CUDA实现选择的决策。 这种方法已显示出显著的加速效果，对于Qwen3-1.7B、Qwen3-4B和Llama-3.2-1B-Instruct模型，其推理速度分别比PyTorch eager快了平均5.66倍、4.05倍和4.26倍。