CosmicRaisins

GLM-5.2 speculative decode runs on 4x DGX GB10 cluster

一位用户成功在 4x DGX GB10 集群上实现了 GLM-5.2 和 MTP 投机解码，实现了约 9.4 tokens/秒的吞吐量。这涉及到从公共内核重建缺失的构建修改，并确保使用特定的 vLLM 参考提交以避免权重加载错误。用户还详细介绍了优化设置的步骤，包括一种无数据剪枝方法以将模型装入内存，以及关于多节点性能网络配置的说明。