llama.cpp 项目的新版本 b11811 发布,为包括 macOS、iOS、Linux、Android 和 Windows 在内的各种硬件平台引入了优化。此次更新采用了新的通用矩阵向量乘法 (GEMV) 和 i8mm GEMM 内核,特别利用了 SVE(可扩展向量扩展)技术以提高性能。此外,发布说明中提到了 KleidiAI 的集成,尽管其部分功能目前在某些平台上被禁用。 AI
影响 提高了各种消费级硬件上本地 LLM 推理的性能。
排序理由 这是一个特定工具的软件发布,而非前沿模型发布或重要的行业事件。
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →