研究人员开发了一个新的稀疏专家混合（MoE）架构分析框架，重点关注通信效率。他们提出将MoE门视为一个随机信道，并使用互信息量化路由信息。该研究引入了一种实用的构造方法，使用预训练CNN专家组成的有限专家库和依赖于数据的选择规则来估计信息量并分析泛化差距。 AI
影响 为分析和设计资源感知的MoE推理系统引入了一个实用的框架。
排序理由 这是一篇研究论文，详细介绍了一个分析MoE架构的新框架。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
arXiv:2605.05278v1 Announce Type: new Abstract: Resource-efficient machine learning increasingly uses sparse Mixture-of-Experts (MoE) architectures, where the gate acts as both a learning component and a routing interface controlling computation, communication, and accuracy. Moti…