llama.cpp 项目发布了 b10920 版本,引入了对多设备模型拆分(也称为行拆分)的支持。此增强功能允许在多个设备上更有效地分配模型计算。此次更新包括大量代码更改,重点是完善此多设备功能、改进错误处理以及更新开发人员文档。 AI
影响 能够更有效地在分布式硬件设置上执行大型语言模型。
排序理由 这是特定工具的软件发布,而不是前沿模型发布或重要的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
llama.cpp 项目发布了 b10920 版本,引入了对多设备模型拆分(也称为行拆分)的支持。此增强功能允许在多个设备上更有效地分配模型计算。此次更新包括大量代码更改,重点是完善此多设备功能、改进错误处理以及更新开发人员文档。 AI
影响 能够更有效地在分布式硬件设置上执行大型语言模型。
排序理由 这是特定工具的软件发布,而不是前沿模型发布或重要的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
<ul> <li>hex-row-split: add support for multi-device row spliting</li> </ul> <p>Co-authored-by: Max Krasnyansky <a href="mailto:[email protected]">[email protected]</a></p> <ul> <li> <p>hex-mdev: add work splitting to fused kernels</p> </li> <li> <p>hex-mdev: use mdev_ pr…