研究人员开发了一种名为NarrowSpec的新技术,用于大型语言模型的推测解码。该方法允许用于验证的草稿模型以缩减的隐藏宽度(目标模型宽度的二分之一或四分之一)运行,而不会显著影响生成准确性。在Nvidia B200和DGX Spark硬件上使用SGLang对Qwen3-8B和GPT-OSS-20B模型进行的测试表明,NarrowSpec可以将端到端解码速度提高高达1.44倍,并且在各种批处理大小下都能保持加速效果。 AI
影响 加速大型语言模型的推理,可能降低生成式AI应用的成本并提高吞吐量。
排序理由 详细介绍大型语言模型推理优化新技术的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
- Alagappan Valliappan
- DGX Spark
- GPT-OSS-20B
- large language models
- NarrowSpec
- Nvidia B200
- Qwen3-8B
- SGLang
- speculative decoding
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →