实体
ggerganov
ggerganov
PulseAugur coverage of ggerganov — every cluster mentioning ggerganov across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
llama.cpp 优化 Gemma-4 的 KV 缓存性能
llama.cpp 项目已合并一个优化 KV 缓存性能的拉取请求，特别是针对 Gemma-4 模型。此更改在 b9551 及更高版本中可用，旨在减少与 KV 单元相关的内存复制。该优化于昨天合并，预计将提高在本地硬件上运行的兼容模型的推理速度。
-
llama.cpp b9501 重构 state 保存测试以支持 token 输入
llama.cpp 项目发布了 b9501 版本，其中对其 test-save-load-state 功能进行了重构。此次更新允许测试接受 token 输入，如果未提供 prompt，则默认生成随机 token，这对于缺少分词器的模型很有益。更改还涉及提前分词以及使用新的 API 函数访问词汇表。
-
llama.cpp 增加评估工具；MagicQuant v2.0 提供混合 GGUF 量化
llama.cpp 项目引入了 llama-eval，一个用于根据标准数据集对本地语言模型进行基准测试的新工具。同时，MagicQuant v2.0 发布了先进的混合 GGUF 量化技术，并与 Unsloth 集成以优化模型压缩。此外，一个名为 Needle 的新 26M 参数开源模型已发布，专为在消费级硬件上进行高效的本地工具调用而设计。