llama-cpp-python
PulseAugur coverage of llama-cpp-python — every cluster mentioning llama-cpp-python across labs, papers, and developer communities, ranked by signal.
16 天有情绪数据
-
Unsloth 发布 DeepSeek-V4-Flash 模型 GGUF 版本以供本地使用
Unsloth 发布了 DeepSeek-V4-Flash 模型 GGUF 版本，使其可用于本地部署。该模型可与多种工具和库集成，包括 llama-cpp-python、llama.cpp、LM Studio、Jan 和 Ollama。为每次集成提供了说明和配置，使用户能够在 Raspberry Pi 等设备上运行该模型，并将其与 Pi 和 Hermes 等代理一起使用。
-
MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF 模型发布并附带集成指南
一款名为 MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF 的新模型已在 Hugging Face 上发布。该模型为 GGUF 格式，并提供了使用各种库和应用程序（包括 llama-cpp-python、llama.cpp、vLLM、Ollama 和 Unsloth Studio）的说明。这些资源详细介绍了如何在本地或通过云服务设置和运行模型的推理。
-
InternScience/Agents-A1-Q4_K_M-GGUF 模型已集成多种 AI 工具
InternScience/Agents-A1-Q4_K_M-GGUF 模型现已可与各种流行的 AI 工具和库一起使用。提供了将其与 llama-cpp-python、llama.cpp、LM Studio、Jan、Ollama 和 Unsloth Studio 集成的说明。此外，用户还可以利用该模型与 Google Colab 和 Kaggle 笔记本电脑，以及在 Raspberry Pi 设备上。该模型还支持与 Hermes Ag…
-
bottlecapai 在 Hugging Face 上发布多模态 Qwen3.6-27B 模型
基于 Qwen3.6-27B 的 bottlecapai/ThinkingCap-Qwen3.6-27B 模型现已在 Hugging Face 上可用。它提供多模态能力，允许用户处理文本和图像。该模型可以与各种库和推理提供商集成，包括 Transformers、vLLM、SGLang 和 llama.cpp，并为每种提供商提供了详细说明。
-
MaralGPT/MaralGPT-Mythos-9B-2606-GGUF 模型现已可供集成
MaralGPT/MaralGPT-Mythos-9B-2606-GGUF 模型现已可与各种流行库和推理提供商一起使用。提供了将模型与 Transformers、llama-cpp-python 和 vLLM 等工具集成的说明。此外，用户还可以使用 LM Studio 和 Jan 等本地应用程序，或通过 Google Colab 和 Kaggle 等平台上的笔记本部署该模型。
-
Hugging Face 托管 huihui-ai 新模型，支持广泛集成
Hugging Face 现已托管 huihui-ai 的两个新模型：Huihui-GLM-5.2-abliterated-GGUF 和 Huihui-Qwythos-9B-Claude-Mythos-5-1M-abliterated-GGUF。这些模型可与多种库和推理提供商一起使用，包括 Transformers、llama-cpp-python、llama.cpp、LM Studio、Jan、vLLM 和 SGLang。文档提供了…
-
Unsloth 发布 Qwen-AgentWorld-35B 模型，支持广泛集成
unsloth/Qwen-AgentWorld-35B-A3B-GGUF 模型现已在 Hugging Face 上可用，为用户提供了与各种库和推理提供商集成的说明。该模型可与 Transformers、llama-cpp-python 和 vLLM 等工具一起使用，并为每种工具提供了详细指南。此外，用户还可以使用 llama.cpp、LM Studio、Jan 和 SGLang 等本地应用程序或通过 Docker 容器部署该模型。
-
Hugging Face 发布了新的多模态大语言模型 HauhauCS/Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP
一款新的多模态大语言模型 HauhauCS/Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP 已在 Hugging Face 上发布。该模型旨在处理文本和图像，例如它能够描述自由女神像。提供了将该模型与各种流行库和应用程序集成的说明，包括 llama-cpp-python、llama.cpp、vLLM 和 Ollama，方便在 Google Colab 和 Kaggle 等云环境以…
-
Unlimited-OCR-GGUF 模型发布并附带集成指南
sahilchachra 开发的 Unlimited-OCR-GGUF 模型现已在 Hugging Face 上发布，提供增强的 OCR 功能。该模型旨在处理和理解图像，例如它能够描述自由女神像。提供了将此模型与各种流行库和工具集成的说明，包括 llama-cpp-python、llama.cpp、vLLM、Ollama、Unsloth Studio 和 Docker Model Runner，从而促进其在各种应用中的使用。
-
HauhauCS Gemma4-12B 模型发布，具备多模态能力
HauhauCS/Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced 模型现已在 Hugging Face 上可用，为用户提供了与各种流行库和应用程序集成的详细说明。该模型支持多模态输入，允许它处理文本和图像数据，并通过使用自由女神像图像的示例进行了演示。为 llama-cpp-python、llama.cpp、vLLM、Ollama 和 Unsloth Studio 等工具提供了集成指南，便于在本…
-
Reddit 用户尝试使用自定义 llama-cpp-python 集成来加速 AI 图像生成，但面临挑战
一位 Reddit 用户尝试使用 llama-cpp-python 作为 Flux.2 Klein 9B 模型的文本编码器来优化图像生成。用户遇到了该库不输出隐藏层的问题，需要一种解决方法来提取它们。最初的尝试导致图像质量很差，后来发现是错误地选择了 Qwen3_8B 模型而不是预期的 Qwen3_VL_8B 模型。虽然开发了一个使用 llama-cpp-python 对 Qwen3_8B 模型进行快速文本编码和生成的有效解决方案，但…
-
DeepReinforce AI 发布 Ornith-1.0 系列开源编码模型
DeepReinforce AI 发布了 Ornith-1.0 系列开源模型，专为代理编码任务设计。这些模型有多种尺寸，包括 9B、35B 和 397B 参数，基于 Gemma 4 和 Qwen 3.5 构建。Ornith-1.0 模型在 Terminal-Bench 2.1 和 SWE-Bench 等编码基准测试中展现了最先进的性能，采用了自改进训练框架，优化了解决方案生成和底层脚手架。
-
Empero AI 发布 Qwythos-9B 推理模型，支持 1M 上下文窗口
empero-ai/Qwythos-9B-Claude-Mythos-5-1M 模型，一个 9B 参数的推理模型，已发布并在 Hugging Face 上可用。该模型基于 Qwen3.5-9B 构建，并使用 Claude Mythos 和 Fable traces 进行微调，通过 YaRN rope-scaling 技术实现了 100 万 token 的上下文窗口。提供了针对各种库和推理提供商的说明和集成指南，包括 llama-cpp…
-
Mythos-nano-i1-GGUF 模型集成到流行的 AI 工具中
Mythos-nano-i1-GGUF 模型现已可用于各种流行的 AI 工具和库。提供了将其与 Hugging Face Transformers、llama-cpp-python 以及 LM Studio、Jan 和 Ollama 等本地应用程序集成的说明。该模型还可以通过 notebook 环境（如 Google Colab 和 Kaggle）以及通过 llama.cpp 框架进行服务器或终端推理来使用。
-
Hugging Face 发布了新的基于 Gemma 的模型，用于编码和智能体
在 Hugging Face 上发布了两个不同的模型：huihui-ai/Huihui-gemma-4-12B-coder-fable5-composer2.5-v1-abliterated 和 yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF。这两个模型都基于 Gemma 架构，分别用于编码和智能体任务。提供了详细的说明，用于将这些模型与各种库和推理提…
-
Unsloth 发布支持广泛库的 GLM-5.2-GGUF 模型
Unsloth 发布了 GLM-5.2-GGUF 模型，使其可与各种流行库和应用程序一起使用。该模型可以与 Transformers、llama-cpp-python 和 Ollama 等工具集成，并且还兼容 vLLM 和 SGLang 等推理提供商。提供了说明和代码示例，以便在笔记本、本地应用程序和容器化环境中实现无缝集成。
-
Mia-AiLab/Qwable-3.6-35b 模型在 Hugging Face 上发布，支持广泛集成
Mia-AiLab/Qwable-3.6-35b 模型现已在 Hugging Face 上提供，为用户提供了跨各种平台的详细集成说明。该模型可与 Transformers 和 llama-cpp-python 等流行库一起使用，并兼容 llama.cpp、LM Studio、Jan、Ollama 和 Unsloth Studio 等本地应用程序。此外，还可以通过 Google Colab 和 Kaggle 等基于云的笔记本访问，并为每…
-
新方法通过统计学验证LLM API模型真实性
已开发出一种方法，用于检测提供开源权重语言模型的API是否正在替换广告中宣传的模型，而是使用更便宜或更小的模型。直观地评估输出质量的方法被证明是无效的，因为来自更便宜模型的更简单、更可预测的文本反而被评为更高分。一种更可靠的方法是要求模型对固定的令牌序列进行评分，其中真实模型会为其生成的文本分配更高的对数概率。这种统计检查需要通过多次挑战来积累证据，因为单一测试不足以区分不同模型量化或轻微降级。
-
VibeThinker-3B-GGUF 模型现已可与多种 AI 工具集成
prithivMLmods/VibeThinker-3B-GGUF 模型现已可用于各种库和应用程序。提供了将其与 Transformers、llama-cpp-python、llama.cpp、vLLM 和 SGLang 等流行工具集成的说明。该模型还可以与 LM Studio 和 Jan 等本地应用程序一起使用，并为每次集成提供了详细的设置指南和代码示例。
-
AI代理在金融市场模拟中竞争，作为SLM基准
一位开发者创建了一个名为“AI代理华尔街”的新颖模拟，其中四个不同的AI交易员在一个模拟的金融市场中竞争。该项目还充当小型语言模型（SLM）的基准，测试它们在实时中进行推理、风险管理和协作的能力。值得注意的是，所有四个代理都使用llama.cpp推理在小型开源2B语言模型上并发运行，展示了轻量级模型在复杂场景中的能力。