llama.cpp 项目发布了 b11543 版本,更新了其 Vulkan 后端。此次更新专门修改了 NVIDIA GPU 的矩阵乘法处理方式,调整了某些操作的行数以提高性能。这些更改旨在优化新版 NVIDIA 架构上的硬件功能使用,同时保持与旧版架构的兼容性。 AI
影响 优化特定 NVIDIA 硬件上本地 LLM 部署的推理性能。
排序理由 这是针对特定项目的软件更新,并非前沿发布或重大的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →