PulseAugur
实时 02:10:10
English(EN) Try GLM 5.1 today: https://t.co/jsWoVlNEQc

Together AI 发布 GLM 5.1,并进行了内核优化

Together AI 发布了 GLM 5.1,这是一个开源推理模型。GLM 5.1 的优化重点在于重写和融合 indexer topk 内核,以减少内存和启动开销。此外,还消除了 CPU 开销以提高预填充吞吐量,显著的提升归功于 indexer 的改进。 AI

影响 Together AI 发布 GLM 5.1,为推理提供了一个开源选项,可能降低开发者的成本并提高可访问性。

排序理由 Frontier-lab 模型发布,附带系统卡。[lever_c_demoted from frontier_release: ic=2 ai=1.0]

在 X — Together (inference / OSS) 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

Together AI 发布 GLM 5.1,并进行了内核优化

报道来源 [2]

  1. X — Together (inference / OSS) TIER_1 English(EN) · togethercompute ·

    立即试用 GLM 5.1:https://t.co/jsWoVlNEQc

    Try GLM 5.1 today: https://t.co/jsWoVlNEQc

  2. X — Together (inference / OSS) TIER_1 English(EN) · togethercompute ·

    GLM 5.1 的优化归结为三点:

    Optimizing GLM 5.1 came down to three things: -> Rewrote the indexer topk kernel -> Fused the indexer kernel to reduce memory and launch overhead -> Eliminated CPU overhead that was gating prefill throughput The bigger win was in the indexer. Once we fixed that, the …