llama.cpp 的一项新合并请求旨在通过将采样操作从 CPU 移至 GPU 来提高推理速度。此更改使 Qwen3.6:35b 模型在 RTX 5090 上的每秒 token 数提高了约 8%，在 Tesla P40 上提高了 4%。性能提升归因于减少了 CPU-GPU 数据传输的开销，这在内存带宽更高的中高端 GPU 上更为明显。 AI
影响 这项优化可能会加快 llama.cpp 用户（尤其是在消费级硬件上）的本地推理速度。
排序理由 这是一个开源项目的代码优化，而非新模型发布或重大的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
