一位用户已成功配置并正在定制硬件设置上运行 GLM-5.2 大型语言模型。该设置使用了四块 NVIDIA GB10 Grace Blackwell Superchips，通过 100G 交换机连接，并支持 330k 令牌的上下文窗口。性能基准测试表明，典型任务的吞吐量约为每秒 25 个令牌，预填充操作的吞吐量高达每秒 650 个令牌，并且通过模型剪枝有进一步优化的潜力。 AI
影响 证明了在定制的高性能本地硬件上运行大上下文模型的可能性。
排序理由 用户配置的运行 LLM 的硬件设置。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1ur022r/running_glm_52_on_4xgb10_with_a_100g_switch_330k/"> <img alt="Running GLM 5.2 on 4xGB10 with a 100G Switch, 330k ctx, ~25 t/s tg, ~650 t/s pp" src="https://external-preview.redd.it/aw4ySea5ZwGyHtvXZlH5…