Clover 2 是 Clover 2030 Engineering 推出的新型语言模型,其架构独特,包含一个 27.8B 的基础模型和七个专门的 LoRA 适配器。与传统的合并模型不同,Clover 2 在推理时使用一个路由器为每个 token 选择最合适的适配器,在不需要特定专业知识时则回退到基础模型。这种方法在 GSM8K、MATH-500 和 LongBench-v2 等基准测试中展示了性能提升,同时减少了创意文本中的通用 AI 写作痕迹。该模型的所有组件,包括基础模型、适配器和路由器,均已在 Hugging Face 上公开,并支持 vLLM 推理,在其平台上提供免费试用。 AI
影响 引入了一种新颖的 LoRA 适配器路由机制,有望提高本地 LLM 部署的效率和专业化程度。
排序理由 发布了一个具有新颖架构的、公开可用的新型语言模型。 [lever_c_降级自研究: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →