llama.cpp 项目发布了更新 b11454,引入了对 K2 Horizon dense 模型及其 MoVA 变体的支持。此次更新包括模型加载、超参数和张量处理的重大更改,以及计算图的调整。此外,该版本还解决了 Unicode 处理问题,特别是零宽度非连接符和连接符字符,这些字符之前导致 Windows 加载失败。更新还整合了对 YaRN betas 的支持,并强制执行推理和工具调用的响应模式。 AI
影响 通过支持新的模型架构,增强了本地 LLM 推理引擎的能力。
排序理由 这是一个开源项目的软件发布,增强了模型支持,属于研究/基础设施类别。
- bitalov
- ggml-org
- K2 Horizon
- llama.cpp
- MOVA
- Codex
- CUDA
- GGUF
- Llama 3
- Natani L. Mayday
- Ryandito Diandaru
- Visual C++
- WestWaters
- YaRN
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →