llama.cpp 项目发布了 b12508 版本,其中包含对 CUDA 的优化,特别是融合了 NORM、MUL 和 ADD 操作。此版本通过 GitHub 提交发布,由 Codex 协助完成,是该项目为提高本地运行大型语言模型性能和效率的持续努力的一部分。 AI
影响 提高了本地 LLM 推理的性能,可能有助于更广泛地采用小型、高效的模型。
排序理由 这是一个用于促进本地运行 LLM 的工具的软件发布,而不是前沿模型发布或重要的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →