PulseAugur
中
实时 23:59:33

4位 GLM-5.2 量化模型在 Terminal-Bench 2.1 上达到 70.8%

作者 PulseAugur 编辑部 · [1 个来源] ·

用户成功在配备 100K 上下文的 DGX Spark 设置上运行了 GLM-5.2 (753B MoE) 模型的 4 位量化版本。该量化模型在 Terminal-Bench 2.1 基准测试中取得了 70.8% 的成绩，约为全精度模型性能的 87%。该实验需要大量的计算资源，并在 72.5 小时的运行时间内遇到了几项技术挑战。 AI

影响 证明了在消费级硬件上运行大型量化模型以应对复杂基准测试的可行性。

排序理由 用户进行的量化模型基准测试。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

4位 GLM-5.2 量化模型在 Terminal-Bench 2.1 上达到 70.8%

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/anvarazizov ·

    4-bit GLM-5.2 (753B MoE) on 4× DGX Spark: 70.8% on Terminal-Bench 2.1 vs 81.0% for the full model

    <!-- SC_OFF --><div class="md"><p><strong>TL;DR:</strong> Full GLM-5.2 (753B MoE) quantized to Int4-Int8Mix + NVFP4 4-bit KV cache, TP=4 across 4× DGX Spark (GB10) at <strong>100K context</strong>, run on <strong>Terminal-Bench 2.1</strong> with the same agent scaffold (Terminus-…

相关实体

相关话题