PulseAugur
中
实时 07:16:51
Türkçe(TR) GLM 5.2 and ik_llama.ccp

GLM-5.2 模型长上下文崩溃，用户寻求解决方案

作者 PulseAugur 编辑部 · [1 个来源] ·

一位 r/LocalLLaMA 用户在尝试使用 GLM-5.2 模型处理大于 8k 的上下文时遇到崩溃，尽管该模型训练的最大上下文长度可达 100 万个 token。崩溃发生在 llama-sampling.cpp 中的一个致命错误，导致所有 logit 概率变为 NaN。用户已尝试多种故障排除步骤，包括调整 DSA 设置、KV 缓存格式以及拉取最新提交，但问题仍然存在，这表明 DSA 或长上下文的索引器路径可能存在 bug。 AI

影响 用户在使用 GLM-5.2 模型时遇到了长上下文窗口的限制，阻碍了其在高级应用中的全部潜力。

排序理由 用户报告了特定模型和工具的 bug，并正在寻求解决方案。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

GLM-5.2 模型长上下文崩溃，用户寻求解决方案

报道来源 [1]

  1. r/LocalLLaMA TIER_1 Türkçe(TR) · /u/naunen ·

    GLM 5.2 和 ik_llama.ccp

    <!-- SC_OFF --><div class="md"><p>Running GLM-5.2 (the new glm-dsa arch), Unsloth UD-Q4_K_XL, on a 4-socket Xeon E7-8880 v4 box with 1TB RAM and a single RTX 3060 12GB. ik_llama.cpp, experts on CPU (--cpu-moe), 24 attention layers on the GPU. Works great at 8k context — rock soli…

相关实体

相关话题