向 ik_llama.cpp 项目提交了一个拉取请求,引入了 DFlash 2 推测解码。此次更新还包括通过 HIP、Vulkan 支持 RDNA3 GPU 上的 IQ4_KS 和 IQ4_KT 量化格式,以及 DSpark 的初步实现。该项目还增加了对 Ling-3.0 模型和 Muse-Glimmer 的运行时支持。 AI
影响 增强了本地 LLM 推理性能和模型兼容性。
排序理由 这是针对开源项目中特定功能的拉取请求,并非前沿发布或重大的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →