mistral.rs v0.9.0 的 CPU 解码速度比 llama.cpp 快 1.8 倍

mistral.rs 项目已发布 0.9.0 版本，在大型语言模型的 CPU 解码方面展示了显著的性能提升。基准测试显示，在 x86 和 ARM 架构上，mistral.rs 的速度比 llama.cpp 快 1.8 倍。这些优化旨在惠及所有模型，并适用于包括支持 AVX2、AVX512 和 NEON 的各种 CPU。 AI

影响 此次发布在消费级硬件上运行 LLM 方面提供了显著的性能提升，有可能降低本地部署 AI 模型的门槛。

排序理由 该条目详细介绍了一个新的软件版本，并将其性能基准与现有项目进行了比较。[lever_c_demoted from research: ic=1 ai=0.7]

在 r/LocalLLaMA 阅读 →

• Arm Holdings
• AVX2
• AVX512
• EricBuehler
• Gemma 4
• LFM 2.5
• llama.cpp
• mistral.rs
• NEON
• GB10
• Qwen3 4B Q4_K
• Qwen 3.5/3.6
• Sapphire Rapids
• v0.9.0
• x86

• 基础设施
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →