PulseAugur
中
实时 17:42:41
English(EN) GLM-5.2 UD-IQ1_M on llama.cpp — 5090 + 3090 Ti speed test (~ 579 t/s prefill @ 8k ctx, ~324 t/s prefill @ 57k ctx, ~10.6 t/s decode)

GLM-5.2 UD-IQ1_M 在 llama.cpp 上的速度测试显示预填充速度为 579 t/s

作者 PulseAugur 编辑部 · [1 个来源] ·

一位 Reddit 用户分享了在 llama.cpp 上运行 GLM-5.2 UD-IQ1_M 模型时的性能基准测试。测试使用了 RTX 5090 和 RTX 3090 Ti，报告称在 8k 上下文窗口下的预填充速度约为 579 token/秒，在 57k 上下文窗口下的预填充速度约为 324 token/秒。Token 生成速度，即解码速度，测量约为 10.6 token/秒。 AI

影响 提供了在本地运行大型语言模型的具体性能数据，帮助开发者进行硬件和软件选择。

排序理由 用户生成的特定模型和软件组合的性能基准测试。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

GLM-5.2 UD-IQ1_M 在 llama.cpp 上的速度测试显示预填充速度为 579 t/s

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
用户生成的特定模型和软件组合的性能基准测试。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
108 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.

完整方法见我们的编辑标准。

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/Shoddy_Bed3240 ·

    GLM-5.2 UD-IQ1_M 在 llama.cpp 上 — 5090 + 3090 Ti 速度测试 (~ 8k 上下文 579 t/s 预填充, ~ 57k 上下文 324 t/s 预填充, ~ 10.6 t/s 解码)

    <!-- SC_OFF --><div class="md"><p>Just sharing some speed test numbers for GLM-5.2 running on llama.cpp.</p> <p><strong>Setup:</strong></p> <ul> <li>Model: unsloth/GLM-5.2-GGUF, UD-IQ1_M quant</li> <li>GPUs: RTX 5090 + RTX 3090 Ti</li> <li>186 GB DDR5 used</li> <li>Debian 13</li>…

相关实体

相关话题