一个名为 Basalt 的新推理引擎已被开发出来,为特定的语言模型提供了显著的速度提升。该引擎是 Strata 的一个分支,针对 Qwen3.8 Flash-Next 和 Blackwell 架构进行了优化,吞吐量达到了其前身的 2.6 倍。Basalt 支持双 GPU,并配备了一个自定义视觉编码器,该编码器比现有实现快得多,同时还支持多用户实时并发。 AI
影响 为特定的 LLM 配置提供了显著的性能提升,有可能提高兼容硬件用户的本地推理速度。
排序理由 这是现有推理引擎(Strata)的一个分支,针对特定硬件和模型进行了性能优化,而不是新颖的前沿模型发布或重大的行业范围发展。
- 2.6x Strata
- 354 prose
- 5090
- 665 tok/s
- basalt
- Blackwell
- flash-next
- llama.cpp
- MIT license
- Nvidia RTX 5060 Ti
- Qwen3.8
- Strata
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →