unsloth/Inkling-Small-GGUF 模型现已兼容 llama.cpp, vLLM, Ollama

unsloth/Inkling-Small-GGUF 模型现已可用于各种流行的 AI 工具和库。提供了将其与 llama.cpp、vLLM、Ollama、Unsloth Studio、Pi 和 Hermes Agent 集成的说明。这些集成允许用户在本地或通过云服务运行该模型，从而实现诸如本地 OpenAI 兼容服务器和直接终端推理等应用。 AI

影响 促使 unsloth/Inkling-Small-GGUF 模型更广泛地被采用并更轻松地集成到现有的 AI 工作流和应用程序中。

排序理由 该条目详细介绍了现有模型与各种工具的集成，而不是前沿实验室发布的新模型。

在 Hugging Face Trending Models 阅读 →

• Hermes Agent
• llama.cpp
• Ollama
• Pi
• unsloth/Inkling-Small-GGUF
• Unsloth Studio
• vLLM

• 模型发布
• 产品

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →