Blackhole p150a

开发者在双 Tenstorrent 卡上运行了 744B GLM-5.2 模型

Tenstorrent 的一位开发者成功地在双卡设置上运行了拥有 7440 亿参数的 GLM-5.2 模型，实现了每秒 0.35 个 token 的性能。这是通过借鉴 Colibri 项目的方法实现的，该项目通过按需流式传输专家子网络来优化内存使用。开发者在关注性能之前，仔细地将模型实现的每个组件与参考版本进行了核对，以确保高准确性。