AWS 开发了 Parallel-EAGLE (P-EAGLE)，一种新颖的方法，可将大语言模型的投机解码并行化，克服了 EAGLE-3 等先前技术顺序草拟的限制。这项创新允许所有投机草拟的 token 在一次前向传播中同时预测，而不是顺序预测。在基准测试中，P-EAGLE 与 EAGLE 框架相比，吞吐量速度提升高达 1.69 倍，并且现在已原生支持 Amazon SageMaker JumpStart，便于部署。 AI
影响 通过并行化投机解码来加速 LLM 推理吞吐量，从而实现更快的生成式 AI 应用部署。
排序理由 该集群描述了一种用于 LLM 中并行化投机解码的新方法 (P-EAGLE)，详细介绍了其技术方法和性能优势，以及其集成到平台 (SageMaker) 的情况。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
This post walks you through how to use P-EAGLE directly within Amazon SageMaker AI. It will demonstrate how to select a compatible model from the SageMaker JumpStart catalog, configure the parallel drafting specifications, and deploy a highly optimized real-time SageMaker AI endp…
🤖 AWS Parallelizes Decoding for Large Language Models AWS has developed Parallel EAGLE (P EAGLE), a method that parallelizes speculative decoding for large language models, overcoming the sequential drafting constraint of previous methods. This breakthrough from AWS transforms sp…