llama.cpp 项目已集成 Maple 20B-A1B 三元混合专家 (MoE) 架构。此次添加预计将使 VRAM 有限的用户受益,从而使该模型在低端硬件上更易于使用。该集成由 AlexGabbia 作为拉取请求提交,现可供测试。 AI
影响 在 VRAM 有限的硬件上更有效地使用大型语言模型。
排序理由 将特定模型架构集成到开源项目中。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →