Unsloth 发布了 Qwen 模型的两个新的量化版本:unsloth/Qwen3.8-27B-GGUF 和 unsloth/Qwen3.8-2.4T-A95B-GGUF。这些模型针对高效推理进行了优化,并兼容 llama.cpp、Ollama、LM Studio、Jan、vLLM 和 SGLang 等一系列流行工具和库。这些发布提供了详细的说明和代码片段,用于将这些模型集成到各种开发环境中,从本地应用程序和笔记本电脑到 Google Colab 和 Kaggle 等云平台。 AI
影响 促进 Qwen 模型在广泛的本地和云端 AI 应用中更容易地被采用和部署。
排序理由 发布了经过优化的模型版本,并为各种推理工具提供了广泛的集成说明。
在 Hugging Face Trending Models 阅读 →
- Google Colab
- Hugging Face
- Jan
- Kaggle
- llama.cpp
- LM Studio
- OpenAI
- SGLang
- transformers
- unsloth/Qwen3.8-2.4T-A95B-GGUF
- vLLM
- Ollama
- Qwen
- Unsloth
- unsloth/Qwen3.8-27B-GGUF
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →