llama.cpp 项目发布了 b11819 版本，该版本增加了对非标准 GQA、BPE 分词器和 domyn-small 预类型支持，专门用于 Nemotron 模型。此次更新还改进了 Metaspace 前置方案的 GGUF 元数据处理。另外，KRAFTON AI 预览了其 Raon-1 mini 模型，这是一个拥有 30B 参数的混合专家（MoE）模型，使用多种语言训练，并侧重于韩语。Raon-1 mini 模型采用 Apache 2.0 许可，在推理、指令遵循和代理任务方面表现出色，并支持投机解码和量化。 AI
影响 扩展了运行不同 LLM 架构的工具集，并为研发提供了一个新的多语言 MoE 模型。
排序理由 开源 LLM 推理库的更新和新 MoE 模型的预览发布。
- byte-pair encoding
- domyn-small
- GGUF
- GQA
- KRAFTON AI
- llama.cpp
- Nemotron
- Raon-1 mini
- SGLang
- transformers
- vLLM
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
