llama.cpp 项目发布了 b12536 版本,其中包括对 Vulkan 支持的增强。具体来说,此次更新启用了混合精度量化 (MMQ) 和混合符号整数点积。这些更改涉及专门化 MMQ 着色器,并通过有符号、混合和无符号标志跟踪整数点积支持,并将一些检查移至 MMVQ 调用站点。 AI
影响 在支持 Vulkan 的硬件上,提高了某些 AI 模型操作的性能。
排序理由 这是一个特定项目的软件发布,不是前沿模型发布或重要的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →