PulseAugur
中
实时 18:54:02
English(EN) Follow-up: GLM-5.2 NVFP4 on four DGX Sparks — the MTP mystery is solved, and it's now ~24 tok/s at 128K context

GLM-5.2 NVFP4 修复bug后在128K上下文下达到24 tok/s · 跟踪到1个来源

作者 PulseAugur 编辑部 · [1 个来源] ·

一位用户解决了在四台DGX Spark上运行GLM-5.2 NVFP4模型时遇到的问题，在128K上下文长度下实现了约每秒24个token的吞吐量。该问题涉及推测解码配置中的一个bug，其中草稿模型的KV缓存和元数据被分片，但其注意力机制未能识别这种分片，导致计算错误。通过确保在配置过程中正确复制`decode_context_parallel_size`，修复了此bug，消除了之前上下文长度和速度之间的权衡。 AI

影响 特定模型配置的用户级优化细节，提供了性能调优的见解。

排序理由 关于优化特定模型配置的用户级技术后续跟进。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

GLM-5.2 NVFP4 修复bug后在128K上下文下达到24 tok/s · 跟踪到1个来源

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/llamaCTO ·

    后续：GLM-5.2 NVFP4 在四台 DGX Sparks 上运行 — MTP 之谜已解，现在 128K 上下文可达约 24 tok/s

    <!-- SC_OFF --><div class="md"><h1>Follow-up: GLM-5.2 NVFP4 on four DGX Sparks — the MTP mystery is solved, and it's now ~24 tok/s at 128K context</h1> <p>This is a follow-up to my earlier post about running GLM-5.2 NVFP4 on 4x DGX Spark at 128K context. Short version of that pos…

相关话题