llama.cpp 项目发布了 b9802 版本，为各种操作系统和硬件架构提供了预编译的二进制文件。此次发布支持 macOS、Linux、Android 和 Windows，并提供多种 CPU 和 GPU 加速选项，如 Vulkan、ROCm、OpenVINO、SYCL、CUDA 和 HIP。一些功能，如 macOS 上的 KleidiAI 支持和 openEuler 支持，目前被禁用。 AI
影响 为在不同硬件上运行大型语言模型提供了更广泛的可访问性和性能选项。
排序理由 这是一个用于本地运行 LLM 的工具的软件发布，而不是前沿模型发布。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
<details open=""> <p>opencl: flush profiling batch at shutdown for incomplete batches (<a class="issue-link js-issue-link" href="https://github.com/ggml-org/llama.cpp/pull/25016">#25016</a>)</p> </details> <p><strong>macOS/iOS:</strong></p> <ul> <li><a href="https://github.com/gg…
<details open=""> </details> <p><strong>macOS/iOS:</strong></p> <ul> <li><a href="https://github.com/ggml-org/llama.cpp/releases/download/b9802/llama-b9802-bin-macos-arm64.tar.gz">macOS Apple Silicon (arm64)</a></li> <li>macOS Apple Silicon (arm64, KleidiAI enabled) <a href="http…