实体
Q4 GGUF
Q4 GGUF
PulseAugur coverage of Q4 GGUF — every cluster mentioning Q4 GGUF across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Gemma 4 量化指南：优化本地部署的大语言模型性能
本指南解释了如何为本地部署优化大语言模型（LLM）量化，重点关注 Gemma 4 模型。文章指出，虽然模型权重是主要考虑因素，但 KV 缓存的内存使用量会随着上下文长度而扩展，并且默认情况下通常未被量化。文章建议用户适当地设置上下文大小，并在采用较低质量的权重量化之前量化 KV 缓存，提供了选择量化级别（如 Q4_K_M、Q6 和 Q8_0）的决策顺序。
-
Hcompany 发布 Holo3.1 代理，实现快速本地化计算机使用
Hcompany 发布了 Holo3.1，这是一个新的计算机使用代理系列，旨在跨各种环境和代理框架提供强大的性能。此次发布强调本地推理能力，提供 FP8、Q4 GGUF 和 NVFP4 等量化检查点，以便在终端用户设备上部署。Holo3.1 在移动自动化和跨平台性能方面显示出显著的改进，旨在提供私密高效运行的通用计算机使用代理。