dScout

DScout论文通过优化的投机解码提升LLM推理速度

一篇新论文介绍了一种名为DScout的方法，用于提高大型语言模型中投机解码的速度。DScout优化了扩散起草器（diffusion drafters）的训练和推理阶段，这些起草器用于并行提议（propose）词元（tokens）。通过在训练期间进行损失因子分解（factorizing loss）和在推理期间进行吞吐量因子分解（factorizing throughput），DScout旨在更好地平衡词元接受率与延迟的权衡。实验表明，D…