Liquid AI 发布了其 LFM2.5 系列的 DSpark 草稿模型,这些模型在不改变输出质量的情况下,将解码速度提高了高达 3.18 倍。该方法使用投机性解码,其中一个较小的草稿模型提出代币候选,然后由一个较大的目标模型进行验证。这种方法显著加快了推理速度,尤其适用于延迟至关重要的代理应用。这些模型可供自托管,并兼容 llama.cpp 和 SGLang 等工具。 AI
影响 加速小型模型的推理速度,可能在边缘设备上实现更复杂的 AI 应用。
排序理由 Liquid AI 是一个前沿实验室,发布了采用新颖投机性解码技术的新草稿模型。[lever_c_demoted from frontier_release: ic=2 ai=1.0]
- DSpark
- GGUF
- Hugging Face
- LFM2.5
- LFM2.5-1.2B-Instruct
- LFM2.5-2.6B
- LFM2.5-8B-A1B
- LFM Open License v1.0
- Liquid AI
- llama.cpp
- M4 Max MacBook Pro
- NVIDIA H100
- safetensors
- SGLang
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →