llama.cpp 项目发布了 b11626 版本,该版本解决了在没有设备报告可用显存时层数未被均匀划分的问题。此前,NaN 划分导致层被发送到无效的设备索引,从而导致加载中止。此次更新对划分点进行了归一化处理,以防止此类错误。 AI
影响 提高了 llama.cpp 推理引擎在内存有限的系统上运行模型的用户的稳定性和性能。
排序理由 这是一个特定工具的软件发布,而非前沿模型发布或重要的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
llama.cpp 项目发布了 b11626 版本,该版本解决了在没有设备报告可用显存时层数未被均匀划分的问题。此前,NaN 划分导致层被发送到无效的设备索引,从而导致加载中止。此次更新对划分点进行了归一化处理,以防止此类错误。 AI
影响 提高了 llama.cpp 推理引擎在内存有限的系统上运行模型的用户的稳定性和性能。
排序理由 这是一个特定工具的软件发布,而非前沿模型发布或重要的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
<p>When every device reports zero free memory the split points are<br /> normalized by a zero sum, the NaN split sends layers to a device index<br /> past the end and loading aborts with vector::_M_range_check.</p>