Liquid AI 发布草稿模型，解码速度提升 3.18 倍

Liquid AI 推出了其 LFM2.5 系列的 DSpark 草稿模型，旨在将解码速度提高高达 3.18 倍，同时不改变最终的模型输出。这些模型采用推测解码方法，其中一个较小的“草稿”模型提出 token，然后一个较大的“目标”模型在单次传递中进行验证。这种方法提供了显著的速度提升，特别适用于涉及推理和工具调用的应用程序，并得到 llama.cpp 和 SGLang 等工具的支持。这些模型在 LFM Open License v1.0 下提供，该许可允许年收入低于 1000 万美元的实体免费商用。 AI

影响 通过降低延迟而不影响输出质量，加速了 LLM 应用程序（尤其是代理工作流）的推理。

排序理由 前沿实验室模型发布，附带系统卡。[lever_c 从 frontier_release 降级：ic=1 ai=1.0]

在 MarkTechPost 阅读 →

• DSpark
• GGUF
• Hugging Face
• LFM2.5
• LFM2.5-1.2B-Instruct
• LFM2.5-2.6B
• LFM2.5-8B-A1B
• LFM Open License v1.0
• Liquid AI
• llama.cpp
• M4 Max MacBook Pro
• NVIDIA H100
• safetensors
• SGLang

• 模型发布
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →