100G Switch

GLM-5.2 在配备 330k 上下文窗口的定制硬件上运行

一位用户已成功配置并正在定制硬件设置上运行 GLM-5.2 大型语言模型。该设置使用了四块 NVIDIA GB10 Grace Blackwell Superchips，通过 100G 交换机连接，并支持 330k 令牌的上下文窗口。性能基准测试表明，典型任务的吞吐量约为每秒 25 个令牌，预填充操作的吞吐量高达每秒 650 个令牌，并且通过模型剪枝有进一步优化的潜力。