ggerganov
PulseAugur coverage of ggerganov — every cluster mentioning ggerganov across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
llama.cpp 修复了 Metal 后端 moe_reduce 融合中的竞态条件
llama.cpp 项目发布了更新 b11735，解决了其 Metal 后端中与 `moe_reduce` 融合相关的竞态条件。此错误在处理 Kolibri 等某些模型时可能导致罕见的、非确定性的错误结果。该修复程序可在目标张量与输入重叠时阻止融合，并恢复到更安全的、未融合的乘加操作。
-
llama.cpp 添加 VRAM 优化选项
在 `llama.cpp` 项目中引入了一个名为 `--spec-draft-n-ubatch` 的新选项，旨在优化 VRAM 使用。此拉取请求由 ggerganov 提交，为提高本地大型语言模型部署的效率提供了一种方法。
-
llama.cpp b11599 优化模型加载和 macOS 性能
llama.cpp 项目发布了 b11599 版本，引入了处理模型权重的优化，并提高了在 macOS 上的性能。一项关键的更改是防止不必要地将大型张量数据固定到 GPU 缓冲区，这之前影响了 Qwen3.8-Flash-Next IQ4_NL 等模型。此外，macOS 的预取功能已启用，显著提高了某些模型和上下文长度下的提示处理速度。
-
JetBrains 发布 Mellum2.1-12B-A2.5B-Thinking-GGUF 模型以实现高效推理
JetBrains 发布了 Mellum2.1-12B-A2.5B-Thinking-GGUF 模型，可在 Hugging Face 上获取。该模型专为高效推理而设计，可与 llama.cpp、vLLM、Ollama 和 Unsloth Desktop 等各种工具和库一起使用。提供了将模型集成到笔记本电脑、本地应用程序和 Docker 环境中的说明，从而便于在包括 Raspberry Pi 在内的不同平台和硬件上使用。
-
Hugging Face 发布了新的复合型 AI 模型，支持广泛的推理
一款名为 nerkyor/Qwen3.8-27B-Coder390-EfficientThink-Opus5.5-GPT6Astra-Grok4.7-DSV4Pro-K3-SFT-RLOO-MTP-DFlash2 的新型高度复合模型已在 Hugging Face 上发布。该模型专为高效思考和编码任务而设计，整合了来自其他各种模型的元素。提供了使用 llama.cpp、LM Studio、Jan、vLLM 和 Ollama 等流行推理工…
-
llama.cpp 增强测试套件以实现更广泛的模型兼容性
llama.cpp 项目发布了更新 b10666，其中包含对其测试套件的重大改进。一项关键的变更是将 `test-save-load-state` 功能扩展到覆盖指定目录中的所有架构和模型，而不仅仅是单个模型。此次更新还解决了 `deepseek4`、`gemma2`、`minimax-01` 和 `dsv4` 等不同模型架构中的各种问题，以确保兼容性和正确的状态保存/加载。此外，还对 dummy DSA 索引器进行了优化，以更好地与…
-
Qwen3.8-27B 模型变体在 Hugging Face 上发布，附带多种集成指南
Hugging Face 上现已提供 Qwen3.8-27B 模型的多个社区上传版本，包括未经审查的版本。这些模型附带了与 llama.cpp、vLLM、Ollama 和 Unsloth Studio 等流行推理工具集成的说明。提供多种量化格式，以满足不同硬件能力和用户本地部署偏好的需求。
-
Kivarro：发布新的基于 Rust 的 GGUF 模型工作台
一款名为 Kivarro 的新桌面应用程序已发布，该应用程序使用 Rust 和 Tauri 构建，旨在帮助用户在无需安装 Ollama 的情况下与 GGUF 模型文件进行交互。Kivarro 由一位独立开发者开发，于 2026 年 7 月 5 日发布，提供三个主要功能：检查模型元数据、与模型聊天以及设置本地 API。该应用程序还包括一个硬件匹配检查功能，用于在下载模型之前确定模型是否可以加载到可用内存中。Kivarro 的源代码是公开…
-
llama.cpp 优化 Gemma-4 的 KV 缓存性能
llama.cpp 项目已合并一个优化 KV 缓存性能的拉取请求，特别是针对 Gemma-4 模型。此更改在 b9551 及更高版本中可用，旨在减少与 KV 单元相关的内存复制。该优化于昨天合并，预计将提高在本地硬件上运行的兼容模型的推理速度。
-
llama.cpp b9501 重构 state 保存测试以支持 token 输入
llama.cpp 项目发布了 b9501 版本，其中对其 test-save-load-state 功能进行了重构。此次更新允许测试接受 token 输入，如果未提供 prompt，则默认生成随机 token，这对于缺少分词器的模型很有益。更改还涉及提前分词以及使用新的 API 函数访问词汇表。
-
llama.cpp 增加评估工具；MagicQuant v2.0 提供混合 GGUF 量化
llama.cpp 项目引入了 llama-eval，一个用于根据标准数据集对本地语言模型进行基准测试的新工具。同时，MagicQuant v2.0 发布了先进的混合 GGUF 量化技术，并与 Unsloth 集成以优化模型压缩。此外，一个名为 Needle 的新 26M 参数开源模型已发布，专为在消费级硬件上进行高效的本地工具调用而设计。