Lanxiang Hu

JetSpec 通过并行草稿树将 LLM 延迟降低高达 9.6 倍

SemiAnalysis 推出了 JetSpec，一种新的投机解码方法，可显著降低大型语言模型的延迟。通过因果并行树草稿方法共同优化草稿成本和质量，JetSpec 在 MATH-500 基准测试中实现了高达 9.64 倍的加速，在开放式聊天场景中实现了 4.58 倍的加速。研究人员预计将与 vLLM 和 SGLang 等推理引擎进行更深入的集成。