MacBook Pro M5Max

本地AI工具通过新的预测和解码技术提升LLM速度

本地AI社区的最新更新正在提高推理速度，并为开放权重模型提供实际的基准测试。llama.cpp项目现已支持多令牌预测（MTP），该技术在消费级硬件上使Gemma 26B模型的速度提升了40%。另外，vLLM利用DFlash推测解码，使Gemma 4 26B模型在RTX 5090 GPU上达到了每秒600个令牌的速度。此外，Ollama社区发布了Qwen和DeepSeek编码模型在本地开发任务上的比较基准测试。