Fang Sun

新方法通过推测解码加速大语言模型推理 · 跟踪 7 个来源

研究人员正在开发新的方法，通过推测解码来加速大语言模型（LLM）的推理速度。DARTree 和 SPADE 是两种此类方法，其中 DARTree 专注于基于树的推测解码，以提高接受长度和加速效果，而 SPADE 则将推测解码集成到边缘和云设备中，以降低成本和延迟。其他相关工作包括 MemSpec，它针对内存受限的边缘设备优化自适应推测解码，以及 Goose，它使用各向异性推测树来提高效率。这些进展旨在使大语言模型的部署更加实用和经济高效。