llama.cpp 项目发布了专注于 CUDA 性能提升和错误修复的更新。版本 b12487 在 DGX Spark 上为 MUL_MAT_ID 引入了少行矩阵乘法优化,提高了效率。版本 b12433 解决了 AMD 设备上与 MUL_MAT_ID 相关的特定中止问题,该问题发生在处理奇数列源和某些浮点格式时,确保了跨不同硬件配置的稳定性。 AI
影响 llama.cpp 的性能改进和错误修复可以提高本地 AI 模型执行的效率。
排序理由 开源项目的软件发布说明,专注于性能优化和错误修复。
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →