ggml-org
PulseAugur coverage of ggml-org — every cluster mentioning ggml-org across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
llama.cpp to introduce more advanced KV cache optimizations
Given the recent mention of optimized KV cache for Qwen 3.8 27B and the general trend of memory reduction efforts in LLM inference, it is likely that llama.cpp will see further development in KV cache management techniques to support even longer contexts and larger models on consumer hardware.
llama.cpp actively expanding model support and hardware optimizations
Recent evidence shows multiple pull requests and updates to llama.cpp, including integration of new models like Kimi-K3 and performance optimizations such as AVX2 for prompt processing and CPU offload for dense models. This indicates a strong development velocity focused on broadening compatibility and enhancing efficiency on diverse hardware.
Increased adoption of GGUF format for new model releases
The availability of Qwen 3.8 27B in GGUF format and its integration into llama.cpp suggests a growing trend. We hypothesize that more model providers will release their models in GGUF or similar formats optimized for llama.cpp, increasing the accessibility of cutting-edge models for local inference.
-
llama.cpp 添加了 MiniCPM-V 4.7 模型支持
一个拉取请求已提交至 llama.cpp 项目，以添加对 MiniCPM-V 4.7 模型支持。该模型是一个拥有 350 亿参数的模型，此前曾在 Hugging Face 上出现但后来被隐藏。集成到 llama.cpp（一个流行的推理引擎）将能够本地运行该模型。
-
llama.cpp ggml-cuda PR 提升 Qwen 3.x 提示处理速度
对 llama.cpp 项目的拉取请求，特别是针对 ggml-cuda，引入了一项优化，即每 warp 分配四个 GDN 状态列。此更改旨在提高 Qwen 3.x 模型的速度，尤其是在提示处理方面。基准测试显示速度有显著提升，Qwen 模型的提示处理在不同上下文大小下速度提高了 5% 以上。
-
llama.cpp 添加 K2 Horizon dense 和 MoVA 模型支持
llama.cpp 项目发布了更新 b11454，引入了对 K2 Horizon dense 模型及其 MoVA 变体的支持。此次更新包括模型加载、超参数和张量处理的重大更改，以及计算图的调整。此外，该版本还解决了 Unicode 处理问题，特别是零宽度非连接符和连接符字符，这些字符之前导致 Windows 加载失败。更新还整合了对 YaRN betas 的支持，并强制执行推理和工具调用的响应模式。
-
llama.cpp 为分布式模型执行添加了张量并行
llama.cpp 项目已提交一个拉取请求，引入了跨多台计算机的张量并行的新功能。此增强功能旨在通过允许张量在不同机器之间拆分和处理，从而实现更高效的分布式模型执行。
-
Qwen4Exp 优化降低了 llama.cpp 中的 indexer score 内存占用
一项拉取请求已提交至 llama.cpp 项目，以优化 Qwen4Exp 模型。此优化旨在减少 indexer score 所需的内存，可能允许 Qwen Flash Next 模型使用更少的 VRAM。此更改由 ServeurpersoCom 提出，是提高本地大型语言模型部署效率的持续努力的一部分。
-
llama.cpp 为 Qwen 35B 等 MoE 模型添加 MMVQ 优化
一项提交给 llama.cpp 项目的拉取请求为专家混合（MoE）模型引入了优化，特别是针对 Qwen 35B A3B 等架构。这项名为 MMVQ 的增强功能旨在通过在 CUDA 框架内融合共享专家来提高这些模型的速度。该更改由用户 am17an 提交，是优化本地大型语言模型性能的持续努力的一部分。
-
llamacpp添加了本地决策模型支持
llamacpp项目已集成对本地Jevíčko式决策模型的支持。此新功能允许在大型语言模型中进行更高效、本地化的决策处理。集成细节在Hugging Face的一篇博客文章中进行了阐述，重点介绍了ggml-org的使用。
-
Qwen4Exp 在 llama.cpp 中集成多令牌预测
一个拉取请求已提交至 llama.cpp 项目，为 Qwen4Exp 模型集成多令牌预测 (MTP) 功能。此由 am17an 完成的开发允许使用带有 MTP 的 Qwen Flash Next，可能为 Qwen 3.8 27B 模型提供替代方案。集成在约 17 小时的开发后被合并。
-
llama.cpp 收到 Qwen4Exp 'hc ops' 的拉取请求
一个拉取请求已提交至 llama.cpp 项目，为 Qwen4Exp 添加 "hc ops"。此次更新预计将需要对 Qwen Flash Next 模型进行重新基准测试。该贡献来自用户 am17an。
-
llama.cpp 错误导致 M-RoPE 嵌入批次结果不确定
llama.cpp 库中的一个错误会导致在处理 Qwen3.5 和 Qwen2.5-VL 等 M-RoPE 模型的嵌入批次时产生不正确的结果。该问题源于堆缓冲区溢出，库读取了超出位置数组分配内存的区域。这可能导致不确定的 logits，在某些情况下还会导致错误的 token 预测，尽管它通常很微妙且难以检测。该问题在使用这些模型的嵌入模式时发生，而标准的 token 处理不受影响。
-
Maple 20B-A1B MoE 架构已添加到 llama.cpp，惠及低 VRAM 用户
llama.cpp 项目已集成 Maple 20B-A1B 三元混合专家 (MoE) 架构。此次添加预计将使 VRAM 有限的用户受益，从而使该模型在低端硬件上更易于使用。该集成由 AlexGabbia 作为拉取请求提交，现可供测试。
-
llama.cpp 为 AMD RDNA2 性能带来改进 · 跟踪 1 个来源
一项针对 llama.cpp 项目的拉取请求，特别是针对 ggml-cuda，为 AMD 的 RDNA2 架构（包括 MI50 和 MI60 GPU）带来了性能改进。这些增强功能在基准测试中有详细说明，并在拉取请求的评论中进行了讨论，旨在优化特定 AMD 硬件的处理能力。
-
llama.cpp 为 RDNA GPU 进行 Flash Attention 调优
llama.cpp 项目已提交一个拉取请求，专注于为 CUDA 和 HIP 架构优化 Flash Attention。这些更改专门针对 gfx1201 硬件，并可能为 RDNA4 和 RDNA3.5 GPU 带来性能提升，尤其是在处理大型上下文时。
-
Spark-X2.5 LLM 现已通过官方 llama.cpp 支持在本地运行
Spark-X2.5 大型语言模型现已通过 llama.cpp 正式支持本地执行。这使用户能够完全在他们的 CPU 上运行该模型，并为 Microsoft Windows 提供了演示。此次发布包括模型的 1.7B 和 4B 参数版本，以 GGUF 格式提供，便于与 llama.cpp 集成。
-
llama.cpp 添加腾讯 Hy 4 模型架构支持
一项拉取请求已提交至 llama.cpp 项目，旨在添加对腾讯 Hy 4 (hy_v4) 模型架构的支持。此次集成旨在使 Hy 4 模型能够在 llama.cpp 框架内使用，该框架是用于在各种硬件上高效运行大型语言模型的流行 C/C++ 实现。该拉取请求由用户 Little0o0 提交。
-
llama.cpp 增加 AVX2 支持以加速提示处理
一项提交给 llama.cpp 项目的拉取请求为 IQ 模型引入了 AVX2 指令集支持，以加速提示处理，尤其是在大批量处理时。此优化旨在提高 CPU 上本地大型语言模型推理的速度。该更改由用户 bartowski1182 提交，是增强 llama.cpp 库性能的持续努力的一部分。
-
llama.cpp 为 MoE 模型性能添加 CUDA 优化
一项提交给 llama.cpp 项目的拉取请求引入了针对混合专家（MoE）模型的 CUDA 优化。这些增强功能旨在通过将融合能力扩展到单 token 操作之外，来提高性能，特别是在投机解码和 MoE 路由方面。这些更改有望在各种草稿宽度下为 MoE 模型带来速度提升，基准测试显示出有希望的结果。
-
llama.cpp 集成 DFlash2 以提升本地 LLM 性能
llama.cpp 项目已集成 DFlash2 的支持，这是一种增强局部卷积和候选选择的新技术。此合并由 SubSir 贡献，标识为 Pull Request #27342，现已成为 ggml-org/llama.cpp 存储库的一部分。此次更新旨在提高本地大型语言模型的性能和能力。
-
llama.cpp 添加 --n-cpu-ffn 选项，为低 VRAM 设备上的快速密集模型提供支持
llama.cpp 项目的新拉取请求引入了 `--n-cpu-ffn` 选项，旨在提高 VRAM 有限用户的密集模型性能。此功能允许将指定数量的 FFN 子层卸载到 CPU，类似于现有的 `--n-cpu-moe` 功能。此更改由 John-194 提交，旨在使低端硬件上的密集模型更易于访问。
-
llama.cpp 添加对 DSpark Nanbeige4.2-3B 模型支持
一项已提交至 llama.cpp 项目的拉取请求，旨在添加对 DSpark 模型（特别是 Nanbeige4.2-3B 变体）的支持。此贡献由用户 zqlcode 提交，目标是将该模型集成到 llama.cpp 框架中，该框架是用于在本地运行大型语言模型的流行 C/C++ 实现。拉取请求中包含演示更改的可视化辅助内容。