Parallel EAGLE

AWS P-EAGLE 将 LLM 解码并行化，速度提升 1.69 倍

AWS 开发了 Parallel-EAGLE (P-EAGLE)，一种新颖的方法，可将大语言模型的投机解码并行化，克服了 EAGLE-3 等先前技术顺序草拟的限制。这项创新允许所有投机草拟的 token 在一次前向传播中同时预测，而不是顺序预测。在基准测试中，P-EAGLE 与 EAGLE 框架相比，吞吐量速度提升高达 1.69 倍，并且现在已原生支持 Amazon SageMaker JumpStart，便于部署。