开源推理引擎 capy-flash 发布了 0.7.1 版本,使得更大的 Qwen3.8 模型能够在消费级硬件上运行。Qwen3.8-Flash-Next (125B MoE) 模型现在可以在 64 GB 内存中运行,在双 16 GB GPU 上达到 234 token/秒。此外,量化到 3 位的 Qwen3.8-27B 模型可以装入单张 16 GB 卡,运行速度为 174 token/秒。此次更新还提高了 Windows 用户在 CPU 上的性能和内存处理能力。 AI
影响 此次发布使得更强大、更大型的 Qwen3.8 模型能够被拥有消费级 GPU 的用户所使用,可能增加其采用率和实验。
排序理由 这是一个推理引擎的软件发布,它使得现有模型能够在消费级硬件上运行。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →