IQ1_M
PulseAugur coverage of IQ1_M — every cluster mentioning IQ1_M across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
Unsloth 发布 Kimi k3 模型，包含多个大尺寸版本
Unsloth 发布了名为 Kimi k3 的新模型，提供多个不同大小的版本。模型包括 Q1_0 (466GB)、TQ1_0 (509GB)、IQ1_M (649GB) 和 TQ2_0 (551GB)。此次发布为用户提供了本地部署的不同选项。
-
用户询问 IQ1_M 342GB Pruned Kimi K3 模型可用性
r/LocalLLaMA subreddit 上的一位用户正在询问 IQ1_M 342GB Pruned Kimi K3 模型的性能和可用性。该帖子包含指向该模型 Hugging Face 存储库的链接，表明它是 Kimi K3 模型的社区开发或微调版本。
-
AngelSlim/Hy3-GGUF 模型现已支持多种 AI 工具和库
AngelSlim/Hy3-GGUF 模型现已可与各种流行的 AI 工具和库配合使用。提供了将其与 llama-cpp-python、llama.cpp、vLLM、Ollama、Unsloth Studio 和 Pi 集成的说明。这些集成允许用户在本地或通过兼容的服务器运行模型，并为每个平台提供了详细的特定命令和设置指南。该模型还兼容推理提供商以及 Google Colab 和 Kaggle 等笔记本。
-
GLM-5.2 模型在 4x RTX 3090 上本地运行速度为 7.3 tok/s
一位用户详细介绍了在本地运行 GLM-5.2 UD-IQ2_M 模型时的体验，在四块 RTX 3090 GPU 和 192GB RAM 上实现了约 7.3 tokens/秒的吞吐量。他们发现将量化级别从 IQ2 减半到 IQ1 对速度没有影响，而将 CPU 线程从 6 增加到 12 则使性能提升了 22%。用户得出结论，解码速度主要受限于卸载专家（offloaded experts）的 CPU 计算能力，而非内存带宽，并且禁用模型的“…