llama-server
PulseAugur coverage of llama-server — every cluster mentioning llama-server across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
在中端智能手机上运行私有AI的用户设置详情
一位用户详细介绍了在三星Galaxy S23 FE这款中端智能手机上运行私有AI模型而无需依赖云服务的设置。该系统利用Termux安装llama.cpp，并使用llama-server托管Google的Gemma 3 1B instruct模型的量化版本。这种配置允许在设备上进行AI交互，据报告在手机CPU上的速度约为每秒16.5个token，并通过一个名为PocketPal AI的自定义应用程序进行管理。
-
小型LLM在工具调用的有效JSON生成方面遇到困难，需要新的解析策略
使用小型模型（如7B参数模型）的本地LLM部署在为工具调用生成有效JSON方面常常遇到困难。常见问题包括markdown围栏、周围的文本、双重编码、截断以及完全无效的JSON语法。提出的解决方案包括修复明确的格式错误（如围栏或文本），同时将更严重的错误（如截断或无效语法）发送回模型进行重新评估。
-
Llama-server 提示缓存错误导致 LoRA 缩放推理不正确
llama-server 的 RAM 提示缓存中的一个错误可能导致在使用不同缩放比例的 LoRA 适配器时生成不正确的文本。缓存存储了计算出的 KV 状态，但没有记录使用的具体 LoRA 适配器和缩放比例，导致服务器可能重用过时的 KV 状态。在 `llama.cpp` 的多个版本中都观察到了此问题，在测试中，当一个提示首先以一种 LoRA 缩放比例处理，然后在另一个请求占用处理槽后以不同的缩放比例重新处理时，失败率为 100%。禁用…
-
Llama-server 错误报告推测解码时的 logprobs
llama-server 软件中的一个 bug 导致推测解码错误地将生成 token 的对数概率报告为零。此问题会影响各种模型和配置，包括 Gemma 3B，当启用推测解码时。虽然生成的文本看起来正常，但对数概率数据不准确，可能会影响依赖这些值的下游应用程序。这个问题不容易被检测到，因为零对数概率可能自然发生，并且服务器不会指示这些是占位符值。
-
Ollama 0.35 聊天 bug 按字母顺序重新排序 JSON schema 键
Ollama 0.35 版本在其聊天处理中引入了一项更改，可能导致 JSON schema 键按字母顺序重新排序。当模型通过“原生”路径处理时，会发生这种情况，该路径涉及使用 Go 的 map 结构解码和重新编码 schema。由于 Go map 以字母顺序存储键，因此原始声明顺序会丢失，如果顺序对模型的输出很重要，例如将推理放在答案之前，则可能导致问题。此 bug 很微妙，因为 JSON 仍然有效且可解析，但字段内的数据可能不正确。…
-
Llama-server 睡眠模式 bug 导致请求丢失和崩溃
llama-server 睡眠模式中的一个 bug 可能导致请求丢失或服务器崩溃。当服务器进入睡眠状态时，如果在其进入睡眠之前或期间有请求到达，可能会发生竞态条件。过早到达睡眠启动的请求可能无法处理，导致服务器挂起，直到后续请求唤醒服务器，或者在某些情况下，在分词器尝试访问已卸载的词汇表时发生 SIGSEGV 崩溃。此问题已在 llama.cpp 版本 b11368 上使用 Gemma 3:1B 模型观察到，并已向上游报告。
-
NInfer AI 后端相比 llama-server 提供了显著的速度提升
一款名为 NInfer 的新 AI 推理后端已发布，与 llama-server 等现有解决方案相比，其性能有了显著提升。用户报告速度达到每秒 130-180 个 token，并发能力可与 vLLM 相媲美。尽管仍处于早期阶段且缺少一些高级功能，NInfer 因其专业化设计而受到赞扬，使其在代理任务方面尤为强大。
-
Qwen3.8-27B LLM 在 RTX 3090 上驱动编码代理
一位开发者详细介绍了他们在 RTX 3090 GPU 上使用 Qwen3.8-27B 大型语言模型进行编码任务的经验。他们成功地将该模型与 OpenCode 和 llama.cpp 集成，利用 GPU 的 24GB 显存进行推理。虽然该设置能够为小的修复和功能生成有用的代码补丁，但开发者也指出了输出预算耗尽和遗漏缺陷等局限性，这凸显了独立验证的持续重要性。
-
Ollama 对比 llama.cpp：选择您的本地 LLM 运行时
文章将 Ollama 和 llama.cpp 作为本地 LLM 推理的运行时进行了比较，重点介绍了它们不同的操作模式。Ollama 充当托管服务，通过稳定的名称和自动调度简化模型管理和部署，非常适合需要为 Open-WebUI 或编码助手等应用程序提供可靠后端的用户。相比之下，llama.cpp 提供了一种更直接、面向工具包的方法，通过其 llama-server 进程让用户能够精细控制上下文大小和 GPU 放置等参数。虽然 Olla…
-
Rust 客户端演示通过 HTTP 和 MCP 与 Gemma 4 交互
本文详细介绍了两个用于与 Gemma 4 模型交互的 Rust 命令行界面 (CLI) 客户端的创建过程。一个客户端直接查询模型的 HTTP 端点，模仿兼容 OpenAI 的接口。第二个客户端作为 MCP (模型通信协议) 客户端运行，启动自己的 MCP 服务器与模型进行交互。比较突出了 MCP 路径虽然最终会进行 HTTP 调用，但其呈现模型输出的方式不同，侧重于代理交互和工具响应，而非原始 JSON。
-
llama-server 错误未能强制执行 JSON schema 约束
llama-server 工具，特别是 b10868 版本，存在一个错误，当 `response_format` 设置为 `json_schema` 且 schema 直接嵌套在 `response_format` 下时，它未能强制执行 schema 约束。服务器没有应用提供的 schema，而是返回不受约束的文本，这与未指定 `response_format` 时的情况类似。这个问题特别隐蔽，因为服务器仍然返回 HTTP 200 状…
-
双模型文学翻译流水线在 Tesla P40 上实现每天 2-3 本书的翻译量
一位用户详细介绍了一个利用两块 Tesla P40 GPU 进行文学书籍翻译的双模型流水线。该流水线使用 Gemma 4 - 26B-A4B 进行翻译，速度约为每秒 40 token，并使用 Qwen3.6 35B-A3B 进行校对，速度为每秒 50-70 token。该设置利用了多 token 预测 (MTP) 推测解码和 64K 上下文窗口，以实现高效、大批量的整本书翻译。
-
OpenClaw 2.0 推出，具有简化的设置和多人 AI 会话 · 跟踪 8 个来源
OpenClaw 基金会发布了 OpenClaw 2.0，这是其迄今为止最重要的更新，整合了超过 16,000 个拉取请求。新版本通过自动检测现有的 AI 订阅和 API 密钥来简化设置，并具有一个完全重建的浏览器应用程序以改善用户体验。主要增强功能包括通过共享云会话实现实时协作、使用 SQLite 进行持久内存存储以及扩展对本地 AI 模型支持。
-
用户分享优化的Qwen3.8 27B本地LLM部署设置
一位Reddit用户分享了在本地运行Qwen3.8 27B模型的详细设置，优化了在Debian 13系统和7900XTX GPU上的性能。用户成功使用了`Qwen3.8-27B-UD-IQ4_XS.gguf`这个unsloth量化版本，实现了22-30 tokens/秒的速度。性能的关键在于调整`llama-server`命令，使用`--spec-draft-p-min`等参数来管理多轮对话效率，并利用了KV缓存量化。
-
Alice系统集成了Qwen模型与路由器、内存和学习功能
该文档概述了“Alice”，一个本地智能系统，它集成了其核心语言模型Qwen之外的多个组件。Alice遵循“知晓→执行→必要时学习→保留→复用”的原则，强调复用现有知识和电路，而非冗余的解决问题。其架构包括一个路由器、内存（SQLite）、用于知识和电路的“Living Map”，以及Q学习等学习机制，这使其区别于单独的Qwen模型。
-
新基准测试在硬件上测试本地LLM的上下文窗口限制
一个新的基准测试“ctx-cliff”已被开发出来，用于评估本地大型语言模型（LLM）在特定硬件配置上能够处理的最大上下文窗口。该基准测试测量预填充和解码速度、挂钟时间，并检测异常情况，以确定模型是否适合实际应用。它强调了特定环境变量的重要性，例如NVIDIA GPU的`GGML_CUDA_ENABLE_UNIFIED_MEMORY=1`，通过启用VRAM到RAM的卸载机制，可以显著影响VRAM利用率并防止碎片化。该工具旨在帮助用户识…
-
Qwen3.8-27B 模型默认设置引发关于推理努力和速度的争论
Qwen3.8-27B 模型以高推理努力的默认设置发布，引发了社区对其性能和配置的讨论。早期报告指出，此默认设置可能导致推理时间显著变慢，一位用户生成简单 SVG 图像就等待了 21 分钟。将推理努力调整为较低设置或禁用它可大幅提高速度，使模型更适合交互式使用。同时，模型速度和上下文窗口的优化工作正在进行中，新的存储库和硬件解决方案正在涌现，以增强其在消费级 GPU 和专用硬件上的性能。
-
Qwen 3.8 27B LLM 因能力获赞，但因过度思考的默认设置而受批评
阿里巴巴的 Qwen 研究实验室发布了 Qwen 3.8 27B，这是一个开源的、具备视觉能力的 LLM。虽然它因其能力和大小而受到赞扬，适合本地硬件，但用户报告称其默认的推理努力设置会导致过度的“过度思考”。这会导致即使是简单的任务也需要显著更长的处理时间，一些用户难以完成先前版本或其他模型能更快处理的任务。将推理努力设置调整到较低级别可以缓解此问题，尽管一些用户仍在试验以找到最佳配置。
-
据报道 DeepSeek-V4-Flash 在 DSpark 草稿模型配置下存在性能问题
Reddit r/LocalLLaMA 版块的一名用户在使用 DSpark 草稿模型配置时，发现 DeepSeek-V4-Flash 模型的性能明显低于 Multi Token Prediction (MTP) 设置。MTP 配置可达到每秒 30-40 个 token 的可观速度，而 DSpark 配置则降至每秒仅 1-2 个 token。该用户正在寻求关于如何正确配置 llama-server 的推测解码以解决此瓶颈的建议，并提供了…
-
Aider、Qwen Code CLI 和 OpenCode 在本地编码助手基准测试中对决
对三个本地命令行 AI 编码助手 Aider、Qwen Code CLI 和 OpenCode 的比较，揭示了它们在设置、性能和资源使用方面的显著差异。Aider 和 OpenCode 使用 Ollama 设置起来很简单，而 Qwen Code CLI 需要特定的配置，如 Jinja 模板和更大的上下文窗口才能正常运行。在测试 12 个常见编码任务时，Aider 取得了完美的成功率，OpenCode 有一次部分成功，而 Qwen Co…