speculative cascades

研究人员揭示提高 LLM 推理速度和效率的新方法

Google Research 推出了“投机级联”（speculative cascades），一种通过将投机解码与标准级联相结合来提高大型语言模型（LLM）效率的新颖方法。这种混合方法旨在降低计算成本和推理延迟，同时不损害输出质量。通过策略性地使用较小的模型来预测 token，然后用较大的模型进行验证，投机级联与单独使用任一技术相比，提供了更好的成本-质量权衡，Gemma 和 T5 模型已证明了这一点。