llama.cpp 项目发布了 b12506 版本,通过为各种操作添加 bfloat16 支持来增强其 Vulkan 后端。此次更新还为 CPU 上的一些操作引入了 bfloat16 支持,包括 scale、clamp、leaky_relu 和 SWIGLU_OAI。此外,该版本还包括对 SYCL 的修复,并恢复了 CUDA 的操作顺序。 AI
影响 提高在消费级硬件上进行 AI 模型推理的性能和精度。
排序理由 这是针对特定项目的软件更新,并非重大的行业发布或研究突破。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →