llama-cli
PulseAugur coverage of llama-cli — every cluster mentioning llama-cli across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
llama.cpp 支持本地 GGUF 模型托管及兼容 OpenAI 的 API
llama.cpp 项目发布了用于在本地运行 GGUF 模型的新工具，包括命令行界面 (llama-cli) 和提供兼容 OpenAI API 的服务器 (llama-server)。该项目提供了关键标志、示例和调整技巧，以帮助用户优化自托管大型语言模型的性能。
-
使用 PrismML llama.cpp 和兼容 OpenAI 的服务器部署 1-Bit Bonsai-27B 模型
本教程详细介绍了使用 llama.cpp 的专用分支部署 1-bit Bonsai-27B 语言模型，该分支包含针对其独特量化格式的 CUDA 内核。该过程包括设置环境、编译必要的推理二进制文件以及从 Hugging Face 下载模型权重。然后，用户可以通过命令行界面或兼容 OpenAI 的本地推理服务器与模型进行交互，并提供流式响应、多轮对话和多模态扩展等高级配置选项。
-
llama.cpp 发布 GGUF 模型和兼容 OpenAI API 的工具
llama.cpp 项目发布了运行 GGUF 模型的新工具，包括命令行界面 (llama-cli) 和服务器 (llama-server)。llama-server 旨在提供兼容 OpenAI 的 API，简化与现有应用程序和工作流程的集成。该项目还提供优化性能的调优技巧和示例。
-
llama.cpp web UI 重新编译后失败，CLI 和服务器功能正常
用户在使用 llama-server web UI 时遇到提示无响应的问题，尽管命令行界面和服务器本身似乎运行正常。web UI 可以加载甚至加载模型，但卡在“处理中...”状态，不返回任何输出。用户还注意到他们的 mcp-servers 不再被识别。这个问题发生在用户在 Debian 13 上重新编译 llama.cpp 项目之后。
-
Empero AI 发布 Qwythos-9B 推理模型，支持 1M 上下文窗口
empero-ai/Qwythos-9B-Claude-Mythos-5-1M 模型，一个 9B 参数的推理模型，已发布并在 Hugging Face 上可用。该模型基于 Qwen3.5-9B 构建，并使用 Claude Mythos 和 Fable traces 进行微调，通过 YaRN rope-scaling 技术实现了 100 万 token 的上下文窗口。提供了针对各种库和推理提供商的说明和集成指南，包括 llama-cpp…
-
llama-bench 针对闪存注意力和 GPU 层数进行了默认值更正
最近为 llama-bench 工具发布的 b9437 版本更正了与闪存注意力和 GPU 层数相关的默认设置。此前，该工具即使在兼容硬件上也将闪存注意力硬编码为关闭，并为 GPU 层数使用了旧的哨兵值。此次更新现在将闪存注意力默认设置为在 सक्षम 硬件（CUDA、Metal、Vulkan）上自动激活，并将 GPU 层数设置为 -1，与其他 llama.cpp 工具（如 llama-server 和 llama-cli）保持一致。此…
-
Qwen3.6-27B-MTP-pi-tune-GGUF 模型现已可用于各种 AI 工具
bytkim/Qwen3.6-27B-MTP-pi-tune-GGUF 模型现已可与各种流行的 AI 工具和库一起使用。提供了将其与 llama-cpp-python、llama.cpp、vLLM、Ollama 和 Unsloth Studio 集成的说明。该模型还可以与 LM Studio 和 Jan 等本地应用程序以及 Google Colab 和 Kaggle 等云平台一起使用。