kai-os/Grug-12B 模型，Google Gemma-4-12B-it 的微调版本，已在 Hugging Face 上发布。该模型专为紧凑推理而设计，旨在缩短和精简推理过程，同时保留约束和决策等关键信息。它使用 QLoRA 进行训练并合并到基础模型中，目标是在不牺牲答案质量的情况下减少推理 token 使用量。发布内容包括使用 Grug-12B 与各种库和推理提供商（如 Transformers、vLLM 和 SGLang）的说明，以及 Google Colab、Kaggle 和 Docker 的选项。 AI
影响 该模型为寻求 LLM 中更高效推理能力的开发者提供了新的选择。
排序理由 发布了带有使用说明的微调开源模型。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Trending Models 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
