M4 Max MacBook Pro

Liquid AI 通过 DSpark 投机性解码将 LFM2.5 模型速度提升高达 3.18 倍

Liquid AI 发布了其 LFM2.5 系列的 DSpark 草稿模型，这些模型在不改变输出质量的情况下，将解码速度提高了高达 3.18 倍。该方法使用投机性解码，其中一个较小的草稿模型提出代币候选，然后由一个较大的目标模型进行验证。这种方法显著加快了推理速度，尤其适用于延迟至关重要的代理应用。这些模型可供自托管，并兼容 llama.cpp 和 SGLang 等工具。