Hierarchos Native,一个用于语言模型操作的 Rust 和 Vulkan 后端,已获得重大更新。此次更新侧重于提高跨各种硬件的性能和兼容性,包括 Intel HD 520 和 RDNA3 GPU。主要增强功能包括更快的参数流式传输,对 DeepSeek V4.1 和 DBRX 等模型的优化执行,以及修复 RDNA3 硬件上 GPT-2 的数值奇偶校验问题。此次更新还减少了流式传输开销,并提高了 Intel Gen9 集成显卡的内核性能,从而显著降低了延迟。 AI
影响 提高 AI 模型训练和推理的效率和硬件兼容性。
排序理由 开源 AI 后端的软件更新,而非来自前沿实验室的新模型发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →