PulseAugur
中
实时 21:50:56
English(EN) llama-server's sleep mode loses or crashes on a request that arrives just before it sleeps

Llama-server 睡眠模式 bug 导致请求丢失和崩溃

作者 PulseAugur 编辑部 · [1 个来源] ·

llama-server 睡眠模式中的一个 bug 可能导致请求丢失或服务器崩溃。当服务器进入睡眠状态时，如果在其进入睡眠之前或期间有请求到达，可能会发生竞态条件。过早到达睡眠启动的请求可能无法处理，导致服务器挂起，直到后续请求唤醒服务器，或者在某些情况下，在分词器尝试访问已卸载的词汇表时发生 SIGSEGV 崩溃。此问题已在 llama.cpp 版本 b11368 上使用 Gemma 3:1B 模型观察到，并已向上游报告。 AI

影响 此 bug 可能会影响使用 llama-server 的自托管 LLM 部署的可靠性，可能导致用户请求丢失或服务中断。

排序理由 针对开源 LLM 服务工具特定功能的 bug 报告。

在 dev.to — LLM tag 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Llama-server 睡眠模式 bug 导致请求丢失和崩溃

本文如何被排名

Signal score
2 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
针对开源 LLM 服务工具特定功能的 bug 报告。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
product
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Same-day
Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

  1. dev.to — LLM tag TIER_1 English(EN) · The Homelab Postmortem ·

    llama-server 睡眠模式在请求到达前进入睡眠状态时会丢失或崩溃

    <p><strong>TL;DR</strong>: <code>llama-server --sleep-idle-seconds N</code> unloads the model after N idle seconds and is documented to reload it for "any new incoming task". A request handler checks that the server is awake when it starts, then tokenizes the prompt, then queues …

相关实体

相关话题