llama.cpp 项目发布了 b11613 版本,该版本在其 Vulkan 后端中增加了对 bfloat16 激活的支持。此更新增强了某些矩阵乘法运算的计算能力,特别是针对 bfloat16 数据类型的用法。 AI
影响 通过 Vulkan 后端,在兼容硬件上使用 bfloat16 激活的模型,推理性能得到提升。
排序理由 这是一个开源项目的软件发布,专注于推理优化,属于人工智能基础设施领域的研究与开发。 [lever_c_demoted from research: ic=1 ai=0.7]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →