实体
EricBuehler
EricBuehler
PulseAugur coverage of EricBuehler — every cluster mentioning EricBuehler across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
mistral.rs v0.9.0 的 CPU 解码速度比 llama.cpp 快 1.8 倍
mistral.rs 项目已发布 0.9.0 版本，在大型语言模型的 CPU 解码方面展示了显著的性能提升。基准测试显示，在 x86 和 ARM 架构上，mistral.rs 的速度比 llama.cpp 快 1.8 倍。这些优化旨在惠及所有模型，并适用于包括支持 AVX2、AVX512 和 NEON 的各种 CPU。
-
Mistral.rs 提升 CUDA 推理速度；非 CUDA 状态存争议
mistral.rs 项目发布了 0.8.2 版本，在各种 NVIDIA GPU 上将 CUDA 推理速度相比 llama.cpp 提升了高达 2.8 倍。此次更新专注于优化 Gemma 4 等模型的吞吐量，在不同量化类型和模型架构上均观察到性能提升。同时，关于大型语言模型非 CUDA 推理的状态和可行性的讨论正在进行中，语音转文本等一些任务在 CPU 上显示出潜力，而其他任务仍然严重依赖 CUDA。