一款名为 Slipstream 的新推理引擎已发布,它显著提高了在 Apple Silicon Mac 上运行 Qwen3.8-Flash-Next 模型的速度。Slipstream 在 64GB Mac 上的速度达到了 41-52 tokens/s,比 llama.cpp 提高了 1.76 倍,并且即使在高达 130,000 个 token 的上下文长度下也能保持此速度。另外,用户还在报告 Qwen3.8-Flash-Next 在多块 R9700 GPU 上表现出色,单流速度超过 150 tokens/s。 AI
影响 加速了在消费级硬件上运行大型语言模型的本地推理,有可能在个人设备上实现更复杂的应用。
排序理由 发布了一款针对特定模型的新推理引擎,提供了性能改进。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →