PulseAugur
中
实时 04:33:04
English(EN) Running GLM 5.2 on 4xGB10 with a 100G Switch, 330k ctx, ~25 t/s tg, ~650 t/s pp

GLM-5.2 在配备 330k 上下文窗口的定制硬件上运行

作者 PulseAugur 编辑部 · [1 个来源] ·

一位用户已成功配置并正在定制硬件设置上运行 GLM-5.2 大型语言模型。该设置使用了四块 NVIDIA GB10 Grace Blackwell Superchips，通过 100G 交换机连接，并支持 330k 令牌的上下文窗口。性能基准测试表明，典型任务的吞吐量约为每秒 25 个令牌，预填充操作的吞吐量高达每秒 650 个令牌，并且通过模型剪枝有进一步优化的潜力。 AI

影响 证明了在定制的高性能本地硬件上运行大上下文模型的可能性。

排序理由 用户配置的运行 LLM 的硬件设置。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

GLM-5.2 在配备 330k 上下文窗口的定制硬件上运行

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
用户配置的运行 LLM 的硬件设置。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra, model release
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
99 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/SpaceRaisins ·

    在 4xGB10 和 100G 交换机上运行 GLM 5.2，330k 上下文，约 25 t/s tg，约 650 t/s pp

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1ur022r/running_glm_52_on_4xgb10_with_a_100g_switch_330k/"> <img alt="Running GLM 5.2 on 4xGB10 with a 100G Switch, 330k ctx, ~25 t/s tg, ~650 t/s pp" src="https://external-preview.redd.it/aw4ySea5ZwGyHtvXZlH5…

相关实体

相关话题