ggml-cuda
PulseAugur coverage of ggml-cuda — every cluster mentioning ggml-cuda across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
llama.cpp 项目发布多个预发布版本，包含系统优化
llama.cpp 项目已发布多个预发布版本，包括 b12340、b12336、b12328、b12327、b12323、b12322、b12321 和 b12319。这些更新专注于 macOS、iOS、Linux、Android 和 Windows 等不同平台的各种改进和错误修复。具体更改包括对 HunyuanVL 模型的优化、对预取 ggml-backend 的增强，以及为 SpacemiT Q4_1 等特定量化格式集成新内核。
-
llama.cpp b12151版本发布更新了ggml-cuda以进行MoE选择
llama.cpp项目发布了b12151版本，其中包括对ggml-cuda的更新，以在MoE选择中清理post-bias NaNs。此版本解决了与llama.cpp使用的ggml库的CUDA实现中混合专家（MoE）选择相关的问题。此次更新旨在提高此特定组件中数值计算的稳定性和正确性。
-
Hugging Face 发布 Granite Switch 4.1.1，模型更新更快 · 已追踪 2 个来源
Hugging Face 发布了 Granite Switch 4.1.1，这是其模块化语言模型架构的一次补丁更新。此次更新包括一个改进的多语言 Granite Speech ASR 模型，支持原生标点和大小写，以及 granitelib-core 中一个增强的 Decision adapter，在 Jev Decision Index 上表现更好。该公司强调了这些增量更新的速度，并指出基础模型保持不变，只计算新的 adapter。H…
-
llama.cpp 更新 ggml-cuda，Anthropic SDK 发布新功能 · 跟踪 2 个来源
llama.cpp 项目已发布版本 b11770，其中包括对 ggml-cuda 中 ssm_conv 内核大小 7 的支持。此次更新带来了对包括 Apple Silicon 和 Intel 的 macOS、iOS、Linux、Android 和 Microsoft Windows 在内的各种平台的兼容性，但某些配置（如 macOS 上的 KleidiAI 和 OpenEuler）已被禁用。另外，TypeScript 的 Anthro…
-
llama.cpp ggml-cuda PR 提升 Qwen 3.x 提示处理速度
对 llama.cpp 项目的拉取请求，特别是针对 ggml-cuda，引入了一项优化，即每 warp 分配四个 GDN 状态列。此更改旨在提高 Qwen 3.x 模型的速度，尤其是在提示处理方面。基准测试显示速度有显著提升，Qwen 模型的提示处理在不同上下文大小下速度提高了 5% 以上。
-
llama.cpp 为 AMD RDNA2 性能带来改进 · 跟踪 1 个来源
一项针对 llama.cpp 项目的拉取请求，特别是针对 ggml-cuda，为 AMD 的 RDNA2 架构（包括 MI50 和 MI60 GPU）带来了性能改进。这些增强功能在基准测试中有详细说明，并在拉取请求的评论中进行了讨论，旨在优化特定 AMD 硬件的处理能力。
-
llama.cpp 发布更新，修复性能和稳定性问题 · 跟踪 9 个来源
llama.cpp 项目发布了多个更新，包括 0.4.1 版本，该版本解决了跨不同平台的各种性能和稳定性问题。值得注意的更改包括对 SYCL 后端的优化、CPU 堆损坏的修复以及对缺乏 BF16 硬件加速的 CUDA 设备的后备机制。这些更新旨在提高在各种硬件上运行语言模型的效率和可靠性。
-
llama.cpp 发布多个更新，包含性能和错误修复
llama.cpp 项目已发布多个更新，包括 b9975、b9974、b9973、b9972、b9971、b9970、b9969、b9968、b9966 和 b9965 版本。这些发布在 macOS、Linux、Android 和 Windows 等多个平台上引入了各种改进和错误修复。值得注意的更改包括对 DeepSeek 模型的优化、在 Adreno GPU 等特定硬件上 Vulkan 和 OpenCL 性能的增强，以及对 CUDA…