实体 IQ1_M

IQ1_M

PulseAugur coverage of IQ1_M — every cluster mentioning IQ1_M across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_99733 · Jun 19 · 00:06

GLM-5.2 模型在 4x RTX 3090 上本地运行速度为 7.3 tok/s

一位用户详细介绍了在本地运行 GLM-5.2 UD-IQ2_M 模型时的体验，在四块 RTX 3090 GPU 和 192GB RAM 上实现了约 7.3 tokens/秒的吞吐量。他们发现将量化级别从 IQ2 减半到 IQ1 对速度没有影响，而将 CPU 线程从 6 增加到 12 则使性能提升了 22%。用户得出结论，解码速度主要受限于卸载专家（offloaded experts）的 CPU 计算能力，而非内存带宽，并且禁用模型的“…