ggml-org
PulseAugur coverage of ggml-org — every cluster mentioning ggml-org across labs, papers, and developer communities, ranked by signal.
9 天有情绪数据
llama.cpp to introduce more advanced KV cache optimizations
Given the recent mention of optimized KV cache for Qwen 3.8 27B and the general trend of memory reduction efforts in LLM inference, it is likely that llama.cpp will see further development in KV cache management techniques to support even longer contexts and larger models on consumer hardware.
llama.cpp actively expanding model support and hardware optimizations
Recent evidence shows multiple pull requests and updates to llama.cpp, including integration of new models like Kimi-K3 and performance optimizations such as AVX2 for prompt processing and CPU offload for dense models. This indicates a strong development velocity focused on broadening compatibility and enhancing efficiency on diverse hardware.
Increased adoption of GGUF format for new model releases
The availability of Qwen 3.8 27B in GGUF format and its integration into llama.cpp suggests a growing trend. We hypothesize that more model providers will release their models in GGUF or similar formats optimized for llama.cpp, increasing the accessibility of cutting-edge models for local inference.
-
llama.cpp 集成 DFlash2 以提升本地 LLM 性能
llama.cpp 项目已集成 DFlash2 的支持，这是一种增强局部卷积和候选选择的新技术。此合并由 SubSir 贡献，标识为 Pull Request #27342，现已成为 ggml-org/llama.cpp 存储库的一部分。此次更新旨在提高本地大型语言模型的性能和能力。
-
llama.cpp 添加 --n-cpu-ffn 选项，为低 VRAM 设备上的快速密集模型提供支持
llama.cpp 项目的新拉取请求引入了 `--n-cpu-ffn` 选项，旨在提高 VRAM 有限用户的密集模型性能。此功能允许将指定数量的 FFN 子层卸载到 CPU，类似于现有的 `--n-cpu-moe` 功能。此更改由 John-194 提交，旨在使低端硬件上的密集模型更易于访问。
-
llama.cpp 添加对 DSpark Nanbeige4.2-3B 模型支持
一项已提交至 llama.cpp 项目的拉取请求，旨在添加对 DSpark 模型（特别是 Nanbeige4.2-3B 变体）的支持。此贡献由用户 zqlcode 提交，目标是将该模型集成到 llama.cpp 框架中，该框架是用于在本地运行大型语言模型的流行 C/C++ 实现。拉取请求中包含演示更改的可视化辅助内容。
-
llama.cpp PR 通过 AVX2 优化提升 IQ 模型提示处理速度 · 跟踪 1 个来源
llama.cpp 项目的一个拉取请求引入了 AVX2 优化，以显著加速 IQ 模型（尤其是在大批量处理时）的提示处理。基准测试显示速度大幅提升，某些配置下的每秒 token 数提升超过 1000%。这些优化对于 IQ3_S 和 IQ3_XXS 等特定量化类型最为显著，展示了大型模型处理效率的巨大提升。
-
llama.cpp 为密集模型添加 CPU 卸载选项
llama.cpp 项目已提交一个新的拉取请求，提议添加 `--n-cpu-ffn` 选项。此功能旨在为密集模型提供 CPU 卸载功能，类似于现有的用于专家混合 (MOE) 模型的 `--n-cpu-moe` 选项。此拉取请求由 John-194 提交，预计将提高在本地硬件上运行密集模型的用户的性能和灵活性，特别是对于 VRAM 有限的用户。
-
开源项目dotenvy和llama.cpp迎来重大更新
开源项目dotenvy被分叉为一个名为dotenv-ng的新项目，开发者希望获得一个全新的开始和改进的维护。另外，llama.cpp项目发布了0.1.0版本，这是用于在消费级硬件上高效运行大型语言模型的C++库的重要更新。
-
llama.cpp CI 作业修复了 dry-run 报告
此提交解决了 llama.cpp 项目中 make-release 持续集成作业的一个问题。具体来说，它修正了在激活 --dry-run 标志时作业报告其状态的方式。以前，即使某些步骤失败，该作业也会不准确地指示成功，但此修复确保了所有检查的准确报告。
-
Kimi-K3 文本模型通过 pull request 集成到 llama.cpp
一个 pull request 已提交至 llama.cpp 项目，以集成 Kimi-K3 文本模型。此贡献由用户 pwilkin 提交，旨在扩展 ggml-org 生态系统内的模型兼容性。该请求目前在 llama.cpp 社区内开放审查和讨论。
-
Qwen 3.8 27B 模型现已支持本地使用，并优化了 KV 缓存
阿里巴巴集团发布的 Qwen 3.8 27B 模型现已可供本地运行，并详细列出了针对不同硬件配置的特定 GGUF 文件大小。其关键特性是混合注意力机制，其中 64 层中只有 16 层使用 KV 缓存，显著降低了长上下文的内存需求。用户必须正确实现模型的聊天模板并加载单独的 mmproj 文件以获得视觉能力，以避免性能问题并确保正常运行。
-
llama.cpp 为 ROCm 7.14 添加 CI 目标
llama.cpp 项目已提交一个拉取请求，为 ROCm 7.14 添加持续集成 (CI) 目标。此更新旨在使 llama.cpp 在 Linux 和 Windows 环境中都能使用 ROCm 7.14，这是首个使用 TheRock 构建系统的生产版本。ROCm 7.14 可通过多种安装方式获得，包括多架构交付物。
-
llama.cpp 为 Qwen3-Next 模型添加 MTP 支持
开源项目 llama.cpp 发布了 b10238 版本，为 Qwen3-Next 大语言模型增加了多触角感知 (MTP) 支持。此次更新使得在消费级硬件（包括 CPU 和 GPU）上更高效地进行 Qwen3-Next 的本地推理成为可能。该版本还包含对 Python 类型检查和 MTP 层计算的持续改进，展示了 llama.cpp 在快速集成和优化新的开源模型以供本地执行方面的承诺。
-
llama.cpp 集成 DSpark 推测解码以提升性能
一项拉取请求已提交至 llama.cpp 项目，以集成 DSpark 推测解码。此新功能旨在通过允许模型预测未来 token 来提高性能。开发者鼓励用户试用 DSpark 并分享他们的性能统计数据和改进。
-
llama.cpp 通过 CUDA byte perm PR 获得性能提升
一个拉取请求已提交至 GitHub 上的 llama.cpp 项目，标题为“cuda: extract Q1_0 elements via __byte_perm”。此由 dfriehs 提交的更改旨在通过使用字节排列方法提取 Q1_0 元素来提高性能。根据评论，这可能为 Bonsai 模型带来 5% 的性能提升。
-
llama.cpp 增加 ZenDNN 后端的 Q8_0 量化支持，提升性能
一项提交给 llama.cpp 项目的拉取请求引入了对 ggml-zendnn 后端内 Q8_0 量化的支持。基准测试显示性能显著提升，在 1024 个 token 的提示大小下，ZenDNN_Q8_0 在 Mixtral-8x7B 模型上的速度比 GGML_CPU_Q8_0 快高达 193%。在 Llama-3.1-8B-Instruct 和 Gemma 等其他测试模型上观察到了类似的改进，尽管提升幅度因提示大小和模型架构而异。
-
llama.cpp 发布多个更新，支持跨平台优化
llama.cpp 项目发布了多个更新，包括 b10106、b10105、b10108、b10099、b10098、b10094、b10093、b10092、b10091 和 b10103 版本。这些发布在不同平台和硬件加速器上引入了各种改进和修复。值得注意的更新包括对 CUDA、Metal、Hexagon 和 OpenVINO 的增强，以及对 DeepSeekv4 等特定模型模板的修复，并改进了参数解析和内存管理。
-
指南：在 Debian 上编译 llama.cpp LLM 运行时，并交叉编译 ARM64
本技术指南详细介绍了如何在 Debian Linux 上编译和交叉编译 llama.cpp 项目，这是一个基于 C/C++ 的 LLM 推理运行时。它涵盖了 x86-64 和 ARM64 等各种架构的本地构建，包括与 OpenBLAS 的可选集成以提高性能。该指南还提供了从 x86-64 机器交叉编译到 ARM64 目标设备的步骤说明，这对于在 Raspberry Pi 或 Orange Pi 等设备上部署至关重要。
-
llama.cpp 为腾讯 Hy3 模型添加了 MTP 推测解码支持
llama.cpp 项目已集成对腾讯 Hy3 模型（也称为 hy_v3）的支持。此次更新包括 MTP 推测解码的实现，该技术允许进行多令牌预测。Hy3 模型是一个拥有 2990 亿参数的大型混合专家模型，包含 80 层以及一个额外的 MTP 层。
-
llama.cpp 添加 ET backend 以实现开源硬件集成
llama.cpp 项目引入了一个名为 ggml-et 的新后端，旨在支持 ET-SOC-1 处理器。此次集成旨在将开源硬件纳入更广泛的开源推理生态系统。虽然 ET 处理器的绝对性能可能无法与现代 CPU 相媲美，但它提供了更高的每瓦性能。开发工作包括大量的内核添加和优化，例如支持各种数学运算、性能日志记录和矢量计算，并提供了构建和运行后端的示例。
-
llama.cpp 通过 UE4M3 LUT 为 ARM 添加 NVFP4 点积优化
llama.cpp 项目的一个拉取请求通过将 UE4M3 查找表 (LUT) 扩展到 NVFP4 点积实现，为 ARM 处理器引入了一项优化。此更改使 ARM 版本与现有的 x86 优化保持一致，并利用了共享的 LUT 基础设施。基准测试显示性能显著提升，在一个使用 4 个线程的 Qwen3.5-4B-NVFP4 模型上的测试用例中，速度从每秒 1.89 个 token 提高到每秒 9.97 个 token。
-
llama.cpp 为 HIP 构建添加 -ffast-math 标志，提升性能
llama.cpp 项目的一个拉取请求引入了 ggml-hip 库，为 HIP 构建启用了 -ffast-math 编译器标志。在 RDNA3.5 GPU 上的基准测试显示，使用此标志时，Qwen3.5-27B 模型的性能提升高达 7%，Qwen3-0.6B 模型的性能提升高达 3.4%。在各种提示长度下都观察到了性能提升，在较短的提示长度下观察到了最显著的改进。