wide sublayer

New dual-path architecture scales LLM compute and capacity

研究人员为大型语言模型（LLMs）引入了一种新颖的双路径架构，旨在有效扩展计算和容量。该架构利用了多次应用的深度子层（具有共享参数）和具有扩展前馈网络的宽子层。每令牌门（Per-token gates）动态路由信息，允许对令牌分配进行详细分析。与同等FLOPs匹配的模型相比，所提出的模型在语言建模和下游任务上表现出更优越的性能，同时使用的参数也更少。