Akahsizrr/fuse-1-Lite 模型是一个 5.72B 参数的混合专家(MoE)模型,它将一个轻量级语言模型与 Qwen3.6-35B-A3B 的编码专家相结合。这种融合方法涉及移植专家权重,并使用路由器为与编码相关的 token 激活它们,为编码辅助和代理工作流提供了一种高效的方法。该模型专为本地应用而设计,可以与 Transformers、vLLM 和 SGLang 等库集成。 AI
影响 该模型的融合方法可能会激发创建专业化 AI 模型的新高效方法。
排序理由 该条目描述了一个新的模型发布,其中包含有关其架构和融合技术的技术细节。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Trending Models 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →