研究人员推出了一种新颖的AI模型混合架构——混合复用专家(MoRE)。该方法允许模型内的相邻层之间共享专家池。虽然每一层都保留自己的路由器,但它可以从更大、共享的池中进行选择,从而在参数不成比例增加的情况下提高路由多样性。 AI
影响 引入了一种可能提高模型效率和多样性的新架构方法。
排序理由 该集群描述了一篇研究论文中提出的新AI模型架构。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →