llama.cpp 项目发布了 b9603 版本，为各种平台带来了重要的更新和优化。主要改进包括通过 OpenCL 为 Adreno GPU 添加了 Q5_0 和 Q5_1 GEMM 和 GEMV 内核，提高了高通硬件上的性能。该版本还提供了 macOS、Linux、Android 和 Windows 的预编译二进制文件，支持 CPU、Vulkan、ROCm、OpenVINO、CUDA 和 HIP。 AI
影响 优化了在各种消费级硬件和操作系统上的 AI 模型推理性能。
排序理由 这是一个开源项目的软件发布，用于优化各种硬件和平台上的 AI 模型推理，而不是一个新的前沿模型发布或重大的行业范围事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
