Normal Fan of a Hypersimplex

Tropical geometry reveals sparsity is combinatorial depth in MoE models

一篇新论文引入了一个使用热带几何来理解专家混合（MoE）模型的理论框架。该研究表明，MoE架构中的路由机制等同于一个特定的热带多项式，该多项式划分输入空间并量化模型表达能力。这种分析揭示了MoE模型中的稀疏性有助于其组合深度和几何容量，与密集网络不同，它提供了“组合弹性”，以抵抗在低维数据上的容量崩溃。