GGML
PulseAugur coverage of GGML — every cluster mentioning GGML across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
llama.cpp 发布预更新，包含新功能和优化
llama.cpp 项目发布了多个预发布更新，包括 b11675（增加了音频流功能和对 voxtral-realtime 的支持）以及 b11672（改进了 lightonocr 的图像分辨率处理）。其他更新包括 CUDA 内存缓冲区的优化、对 maion-coder 架构的支持，以及对 AMD GPU 的 Vulkan 支持的改进。此外，还有与 Metal 的 bfloat16 张量 API 闪存注意力内核以及不带嵌入的图处理相关的更新。
-
llama.cpp 在 b11586 版本中更新 CUDA 警告
llama.cpp 项目发布了 b11586 版本，其中包括对 CUDA 相关警告的清理。此次更新由 Adrien Gallouët 和 Sigbjørn Skjæret 联合撰写，Gallouët 也进行了最终批准。
-
llama.cpp b11575 版本发布修复 metal tensor 错误
llama.cpp 项目发布了 b11575 版本，修复了处理大张量时出现的 "metal tensor kernel_mul_mm error"。此次更新还涉及对 "ggml/src/ggml-metal/kernels/mul_mm.metal" 文件的修改。该版本由 SecondSeed 打标签，Codex 协助，YiChen Lv 和 Xiang Ximing 贡献。
-
llama.cpp 发布 b11542，修复 GGML S390x 构建问题
llama.cpp 项目已发布 b11542 版本，其中包含对 GGML 库 S390x 全 CPU 构建的修复。此次更新解决了 IBM S/390 架构的一个特定构建问题。
-
开发者发现 Android 上的大语言模型性能瓶颈源于缺少 ARM 优化
一位开发者在调查 Google Pixel 4 上大语言模型性能缓慢的问题时发现，该设备运行模型的速度比理论极限慢了 80 倍。主要原因是 llama.cpp 库中缺少 ARM 优化，特别是在为 Android 编译时缺少 `-march=armv8.2-a+dotprod+fp16` 标志。虽然添加这些标志将性能提高了 2.5 倍，但并未完全解决问题，仍存在与 CPU 调度或同步开销相关的进一步优化挑战。
-
llama.cpp b11439 重构专家复制，添加 DeepSeek2 测试
llama.cpp 项目已发布 b11439 版本，其中包括将选择性专家复制重构为用户代码。此次更新还纳入了将两个模型纳入选择性专家复制测试的测试，特别是使用 DeepSeek2 作为测试模型。该版本还改进了注释和空格修复。
-
Meta高管被揭露为盗版者；讨论Hugging Face收购后llama.cpp的未来
一位成人电影制片人指认一位名为“John DOE”的猖獗盗版者是Meta公司的一位高管。另外，llama.cpp和GGML的创建者Georgi Gerganov就Nvidia收购Hugging Face后这些项目的未来发表了评论。
-
llama.cpp 的核心是 GGML，一个用于 CPU 推理的 C 语言库
llama.cpp 项目是运行大型语言模型在消费级硬件上的流行工具，它建立在一个名为 GGML 的基础 C 语言库之上。GGML 由 Georgi Gerganov 创建，它既是一个轻量级的张量计算引擎，也是一个为 CPU 和激进量化优化的模型存储格式。这种设计使得像 Meta 的 LLaMA 这样的模型能够在普通笔记本电脑上高效运行，而无需 GPU 或大量的 Python 依赖。GGML 格式及其后继者 GGUF 对于通过内存映射快…
-
llama.cpp 采用语义化版本控制以增强稳定性
llama.cpp 项目发布了 0.2.0 版本，正式采用语义化版本控制以提高 API 和 ABI 的稳定性。此更改也适用于底层的 ggml 库，旨在为开发人员提供更清晰的向后兼容性预期，从而简化集成 llama.cpp 的应用程序的依赖管理。此次更新对于依赖 llama.cpp 进行本地 AI 推理的应用程序和库的开发人员尤其有利，有望带来更强大、更可预测的生态系统。
-
FlashAttention-V 助力向量架构上的 Transformer 推理
研究人员开发了 FlashAttention-V，这是 FlashAttention 为可扩展向量架构量身定制的优化版本。该新方法旨在提高 Transformer 模型（特别是小型语言模型 SLM）在新兴向量硬件上的效率。FlashAttention-V 通过融合操作、利用注意力头之间的并行性以及增强内存局部性，实现了显著的加速，在特定硬件配置上，预填充速度提升高达 42 倍，解码速度提升高达 11 倍。
-
Open AI 模型分发层增长速度是核心模型的 7 倍
开源 AI 模型生态系统的分发层正在经历快速增长，其速度超过了模型本身的开发速度。Hugging Face 报告称，尽管模型库在 2026 年前七个月增长了 21.5%，但使用 GGUF 格式的库却增长了 464%。这表明，模型打包和转换为可运行格式（通常由 Unsloth 等第三方发布者完成）的普及程度远超原始实验室的直接发布。企业可能会在不知情的情况下采用这些社区生产的产物，从而引发关于来源和标准化的疑问。
-
Hugging Face 集成 GGML 和 llama.cpp 以支持本地 AI 开发
Hugging Face 宣布集成了 GGML 和 llama.cpp，这两个是在消费级硬件上本地运行大型语言模型（LLM）的关键项目。此举旨在确保本地 AI 能力的长期发展和可访问性。此外，Hugging Face 还重点介绍了 LFM2.5 编码器，它能够在 CPU 上实现快速的长上下文推理，进一步增强了 AI 模型在无需专用硬件的情况下的可用性。
-
Microsoft 发布 VibeVoice-ASR-BitNet 以实现实时 CPU 推理
Microsoft 发布了 VibeVoice-ASR-BitNet，这是一款高度压缩的自动语音识别模型，专为在边缘 CPU 上进行实时推理而设计，无需 GPU。该模型在实时因子 (RTF) 低于 1 的情况下，仅使用三个 CPU 线程，与 Whisper.cpp 等现有解决方案相比实现了显著的加速。通过异构量化实现压缩，将模型大小从 4.62 GB 减小到 1.58 GB，同时保持可比的准确性并支持多种语言。
-
audio.cpp 0.4 增加 TTS/ASR 模型，支持完整 GGUF
audio.cpp 项目已发布 0.4 版本，引入了对多种新的高质量文本转语音 (TTS) 和自动语音识别 (ASR) 模型支持，包括 Higgs Audio v3 TTS 4B 和 Fish Audio S2 Pro。此版本还全面集成了 GGUF 格式支持所有模型家族，提供了显著的速度和 VRAM 提升，尤其是在 Q8 量化方面。该项目现支持 35 个模型家族，并新增了社区模型区域以支持更成熟的移植。
-
Transcribe.cpp：新的基于 GGML 的开源语音转文本库发布
Transcribe.cpp 是一个基于 GGML 的新的开源语音转文本库。它支持广泛的模型，提供数值验证和 WER 测试以确保准确性。该库通过 Vulkan、Metal 和 CUDA 提供跨平台 GPU 加速，确保快速且私密的转录，将音频数据保留在用户的硬件上。
-
Hugging Face整合GGML和llama.cpp以推进本地AI
Hugging Face宣布GGML和llama.cpp将加入其平台。此次整合预计将促进本地AI能力的长期发展。此举标志着对支持开源AI开发以及使强大AI模型更容易在本地执行的承诺。
-
TurboQuant AI 压缩获得社区采用，但热度有所降温
在谷歌宣布 TurboQuant 算法用于压缩 AI 模型 KV 缓存四个月后，该算法已获得社区的广泛采用，但对其能力的理解更为细致。尽管谷歌尚未发布官方代码，但已涌现出许多独立实现，将该算法适配到各种框架和模型中。早期关于显存减少 6 倍和加速的炒作已被社区评估所缓和，评估表明虽然可以实现压缩，但准确性可能会受到影响，尤其是在较低的比特宽度下，而在新硬件上，纯 FP8 KV 缓存可能更受欢迎。
-
开源AI管线可在本地生成游戏资产
一位开发者创建了一个使用开源AI模型在本地生成游戏资产的完整管线，并已移植到GGML以实现本地执行。该管线包括用于文本转语音及语音克隆（OpenMOSS）、音效生成（ThinkSound.cpp）以及最先进的3D模型生成（Trellis.2）的工具。这些工具已集成到Lemonade SDK中，通过级联模型实现文本到3D生成等复杂工作流。整个系统基于宽松的开源许可证构建，并支持CUDA、Vulkan和ROCm以实现广泛的硬件兼容性。
-
TensorSharp 增加 Vulkan 后端以进行 LLM 推理，并与 llama.cpp 进行基准测试
TensorSharp，一个开源 LLM 推理引擎，发布了其 GGML Vulkan 后端的初始版本，旨在提高 GPU 上的性能。该更新已在 Nvidia 和 Intel GPU 上成功测试，开发者正在寻求 AMD GPU 用户反馈。将 TensorSharp 的 Vulkan 后端与 llama.cpp 进行的基准测试显示结果不一，TensorSharp 在某些场景下更快，而在其他场景下（尤其是首次标记时间）则较慢。
-
audio.cpp 通过 C++/GGML 添加音乐、SFX 和长篇 TTS 模型
audio.cpp 项目发布了重大更新，引入了对 ACE-Step、Stable Audio、HeartMuLa、RoFormer 和 HTDemucs 等新音频模型的原生 C++/GGML 支持。此次扩展支持音乐和 SFX 生成以及声源分离，其中一些模型现在能够生成长达10分钟的音频。此外，还集成了 VibeVoice 1.5B，在长篇 TTS 方面表现出色，在 RTX 5090 上不到23分钟即可生成90分钟的音频，显著优于基于 …