English(EN) SGLang outputs endless repetition on NVFP4 models: the FP8 lm_head bug

SGLang 错误导致 FP8 lm_head 模型无限重复

作者 PulseAugur 编辑部 · [1 个来源] · 2026-08-26 03:34

SGLang 提交 5375babb 之前的版本中存在一个错误，在使用 FP8 lm_head 配置（例如 unsloth/Qwen3.8-27B-NVFP4）的模型时，会导致无限重复和空响应。此问题源于 SGLang 错误地处理 lm_head 组件，导致 logit 排名损坏。该问题在服务器启动时不会显现，唯一的迹象是在服务器加载日志中出现特定警告。该修复已于 2026 年 8 月 19 日合并到 SGLang 的主分支，但尚未包含在已发布的版本中。 AI

影响此错误修复解决了特定模型配置的特定服务问题，可能提高 SGLang 用户的使用可靠性。

排序理由这是一份针对特定软件库的技术错误报告和修复，而非新的模型发布或重大的行业事件。

在 dev.to — LLM tag 阅读 →

基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 40 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 这是一份针对特定软件库的技术错误报告和修复，而非新的模型发布或重大的行业事件。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

dev.to — LLM tag TIER_1 English(EN) · Jahn · 2026-08-26 03:34

SGLang 在 NVFP4 模型上输出无限重复：FP8 lm_head 错误

<p>Your NVFP4 model serves fine on vLLM but outputs an endlessly repeated phrase on SGLang, from the very first token, even on a trivial prompt. The response <code>content</code> comes back empty, every request ends with <code>finish_reason: length</code>, and reasoning traces lo…

本文如何被排名

报道来源 [1]

SGLang 在 NVFP4 模型上输出无限重复：FP8 lm_head 错误

相关实体

相关话题