llama-cli
PulseAugur coverage of llama-cli — every cluster mentioning llama-cli across labs, papers, and developer communities, ranked by signal.
-
Tesla V100 SXM2 GPU 模块出现电源问题和 LLaMA 错误
Reddit r/LocalLLaMA 子版块的一名用户在使用其 Tesla V100 SXM2 GPU 模块时遇到问题。该模块在 nvidia-smi 中显示电源使用量为 'N/A / N/A'，并在尝试使用时生成 NVRM Xid 错误 (44)，特别提到了 'llama-cli'。用户已尝试重新插拔模块、使用不同的 PCIe 插槽以及重启系统，但在不同的 CUDA 版本和 Ubuntu 26.04（使用 NVIDIA 驱动 58…
-
llama.cpp 支持本地托管 LLM 并提供兼容 OpenAI 的 API
llama.cpp 项目发布了在本地运行大型语言模型 (LLM) 的新工具。用户现在可以安装 llama.cpp，使用 llama-cli 命令行界面执行 GGUF 模型。此外，该项目还提供了 llama-server，它提供了一个与 OpenAI 规范兼容的 API 来托管这些模型。
-
本地 LLM 面临托管端点的“预热税”
本地运行大型语言模型可能会产生“预热税”，即由于模型加载时间，初始请求会明显变慢。此税仅与短时会话相关，因为长时间会话可以分摊加载成本。文章提出了一种可衡量的途径，用于将本地模型性能与托管端点进行比较，并考虑会话长度、模型大小和量化等因素，以确定最佳部署策略。
-
llama.cpp 支持本地 GGUF 模型托管及兼容 OpenAI 的 API
llama.cpp 项目发布了用于在本地运行 GGUF 模型的新工具，包括命令行界面 (llama-cli) 和提供兼容 OpenAI API 的服务器 (llama-server)。该项目提供了关键标志、示例和调整技巧，以帮助用户优化自托管大型语言模型的性能。
-
使用 PrismML llama.cpp 和兼容 OpenAI 的服务器部署 1-Bit Bonsai-27B 模型
本教程详细介绍了使用 llama.cpp 的专用分支部署 1-bit Bonsai-27B 语言模型，该分支包含针对其独特量化格式的 CUDA 内核。该过程包括设置环境、编译必要的推理二进制文件以及从 Hugging Face 下载模型权重。然后，用户可以通过命令行界面或兼容 OpenAI 的本地推理服务器与模型进行交互，并提供流式响应、多轮对话和多模态扩展等高级配置选项。
-
llama.cpp 发布 GGUF 模型和兼容 OpenAI API 的工具
llama.cpp 项目发布了运行 GGUF 模型的新工具，包括命令行界面 (llama-cli) 和服务器 (llama-server)。llama-server 旨在提供兼容 OpenAI 的 API，简化与现有应用程序和工作流程的集成。该项目还提供优化性能的调优技巧和示例。
-
llama.cpp web UI 重新编译后失败，CLI 和服务器功能正常
用户在使用 llama-server web UI 时遇到提示无响应的问题，尽管命令行界面和服务器本身似乎运行正常。web UI 可以加载甚至加载模型，但卡在“处理中...”状态，不返回任何输出。用户还注意到他们的 mcp-servers 不再被识别。这个问题发生在用户在 Debian 13 上重新编译 llama.cpp 项目之后。
-
Empero AI 发布 Qwythos-9B 推理模型，支持 1M 上下文窗口
empero-ai/Qwythos-9B-Claude-Mythos-5-1M 模型，一个 9B 参数的推理模型，已发布并在 Hugging Face 上可用。该模型基于 Qwen3.5-9B 构建，并使用 Claude Mythos 和 Fable traces 进行微调，通过 YaRN rope-scaling 技术实现了 100 万 token 的上下文窗口。提供了针对各种库和推理提供商的说明和集成指南，包括 llama-cpp…
-
llama-bench 针对闪存注意力和 GPU 层数进行了默认值更正
最近为 llama-bench 工具发布的 b9437 版本更正了与闪存注意力和 GPU 层数相关的默认设置。此前，该工具即使在兼容硬件上也将闪存注意力硬编码为关闭，并为 GPU 层数使用了旧的哨兵值。此次更新现在将闪存注意力默认设置为在 सक्षम 硬件（CUDA、Metal、Vulkan）上自动激活，并将 GPU 层数设置为 -1，与其他 llama.cpp 工具（如 llama-server 和 llama-cli）保持一致。此…
-
Qwen3.6-27B-MTP-pi-tune-GGUF 模型现已可用于各种 AI 工具
bytkim/Qwen3.6-27B-MTP-pi-tune-GGUF 模型现已可与各种流行的 AI 工具和库一起使用。提供了将其与 llama-cpp-python、llama.cpp、vLLM、Ollama 和 Unsloth Studio 集成的说明。该模型还可以与 LM Studio 和 Jan 等本地应用程序以及 Google Colab 和 Kaggle 等云平台一起使用。