ServeurpersoCom
PulseAugur coverage of ServeurpersoCom — every cluster mentioning ServeurpersoCom across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
llama.cpp b12461 修复了 Apple 上的 Vulkan 异常报告
llama.cpp 项目已发布 b12461 版本,其中包括对 Apple 设备上与 Vulkan 相关的测试的修复。此更新确保打印异常消息,解决了之前隐藏的间歇性故障。
-
llama.cpp 更新修复了长上下文溢出问题
llama.cpp 项目发布了更新 b12293,该更新解决了其 CPU 内核在处理长上下文时出现的溢出问题。更新将内核修改为以 F32 格式累加 V 缓存,从而防止了之前导致 NaN 值的溢出。此更改确保了在扩展上下文长度时更稳定的性能,尽管在某些 ARM 架构上可能会导致速度略有下降。
-
llama.cpp b12128 版本修复 TOPK_MOE CI 抖动
llama.cpp 项目发布了 b12128 版本,修复了与 TOPK_MOE 相关的 CI 抖动问题。这些抖动是由在使用 sqrt_softplus 门控函数时,单精度浮点格式中近似相等的值引起的。此次更新通过调整 logits 以维持相对裕度,确保了更稳定的专家选择,提高了包括中央处理器在内的不同后端的一致性。
-
llama.cpp 更新 KV 缓存处理以支持部分状态序列化
llama.cpp 项目发布了版本 b11644 的更新,该更新改进了键值 (KV) 缓存处理部分状态序列化的方式。此更新确保缓存正确支持 PARTIAL_ONLY 标志,防止缓存数据不必要地复制到服务器检查点。更改涉及 src/llama-kv-cache.cpp 和相关的内存包装器,Georgi Gerganov 贡献了此更新。test-llama-context 中的一个新测试用例验证了在未使用 SWA 时,部分状态不会超过完整…
-
llama.cpp b11626 版本修复层划分错误
llama.cpp 项目发布了 b11626 版本,该版本解决了在没有设备报告可用显存时层数未被均匀划分的问题。此前,NaN 划分导致层被发送到无效的设备索引,从而导致加载中止。此次更新对划分点进行了归一化处理,以防止此类错误。
-
llama.cpp 移除 GLM5-Next 稀疏注意力 gather 路径
llama.cpp 项目发布了更新版本 b11453,移除了 GLM5-Next 稀疏注意力的 gather 路径。此更改通过依赖纯粹的 matmul 和 softmax 来简化注意力机制,现在 flash attention 后端更有效地处理掩码行。此次更新还调整了填充的映射方式以及 slot mask 的使用方式。
-
llama.cpp b11422 通过新的 MUSA indexer kernel 优化 CUDA/ROCm
llama.cpp 项目发布了 b11422 版本,其中包括对 CUDA 和 ROCm 架构的优化。具体来说,此次更新为 MUSA 引入了一个新的 vector lightning indexer kernel,解决了某些 MUSA 架构上的共享内存限制。通过分批处理,这一更改确保了具有 28 KB 静态共享内存上限的 MUSA 架构 21 和 22 可以有效地处理 indexer 查询。
-
Qwen4Exp 优化降低了 llama.cpp 中的 indexer score 内存占用
一项拉取请求已提交至 llama.cpp 项目,以优化 Qwen4Exp 模型。此优化旨在减少 indexer score 所需的内存,可能允许 Qwen Flash Next 模型使用更少的 VRAM。此更改由 ServeurpersoCom 提出,是提高本地大型语言模型部署效率的持续努力的一部分。
-
llama.cpp 服务器接受 null 采样参数,与 OpenAI 规范保持一致
llama.cpp 项目发布了 b9967 版本,更新了其服务器功能。此次更新允许服务器接受 null 采样参数,例如 temperature 和 top_p。通过将 null 值视为空缺,客户端现在可以为这些参数发送 null 值,以使用服务器的默认设置,这与 OpenAI 的规范和现有约定保持一致。
-
llama.cpp 为其 Web UI 添加自定义 CSS 主题
llama.cpp 项目发布了 b9438 版本,为其 Web UI 引入了一项新功能,允许注入自定义 CSS。此更新通过配置设置提供自定义 CSS,使用户能够进行主题化,并且可以在不重新构建二进制文件的情况下进行同步和应用。这些更改是为了提高用户自定义能力并遵循 Svelte 的惯用做法。