研究人员开发了EMO，一种专为涌现模块化设计的新型专家混合（MoE）模型。与传统的单体大型语言模型不同，EMO仅激活其参数的特定子集来处理不同任务，从而能够在没有人类定义的先验知识的情况下独立使用和组合专家组。这种方法允许文档中相似领域中的token利用共享的专家池，从而在数学和代码等领域实现语义专业化，并显著提高部署的内存效率。 AI
影响 为大型稀疏模型的模块化、内存高效部署开辟了一条道路，实现了可组合的架构。
排序理由 该集群包含一篇详细介绍新模型架构及其性能的研究论文。
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →
arXiv:2605.06663v1 Announce Type: new Abstract: Large language models are typically deployed as monolithic systems, requiring the full model even when applications need only a narrow subset of capabilities, e.g., code, math, or domain-specific knowledge. Mixture-of-Experts (MoEs)…
Large language models are typically deployed as monolithic systems, requiring the full model even when applications need only a narrow subset of capabilities, e.g., code, math, or domain-specific knowledge. Mixture-of-Experts (MoEs) seemingly offer a potential alternative by acti…