Spark AI 发布了 DSpark,这是一款旨在加速其 Spark-X2.6-4B 模型推理速度的新草案模型。基准测试表明,DSpark 的 BF16 推理吞吐量可提升一倍以上,在 NVIDIA RTX 4090 上可实现高达 2.14 倍的加速,在 Apple M5 Pro 上可实现 2.50 倍的加速。这种性能提升归功于 DSpark 的推测解码能力,它为目标模型并行验证提出多个标记,从而减少了顺序解码步骤。 AI
影响 加速特定模型的推理,可能提高使用 Spark-X2.6-4B 的应用程序的效率。
排序理由 这是草案模型的发布,它提高了现有模型的推理速度,而不是新的前沿模型发布或重大的行业事件。
- Apache Software License 2.0
- Apple M5 Pro
- bfloat16
- DSpark
- GGUF
- Hugging Face
- llama.cpp
- Mlx
- modelscope
- NVIDIA RTX 4090
- Spark X2.6-4B
- XHToken
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →