llama.cpp 项目发布了 b12148 版本,通过 Vulkan 引入了对 RDNA3 和 RDNA4 GPU 的优化。此次更新侧重于大瓦片分割-K 优化,旨在提高特定 AMD 硬件架构的性能。该版本还包括对 LDS 使用策略的更新,并添加了新的性能测试用例,其中部分内容得到了 GitHub Copilot 的协助。 AI
影响 提高本地 LLM 部署在特定 AMD GPU 上的推理性能。
排序理由 针对特定硬件优化的软件发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →