Wango

TANGO模型引入了新颖的门控算子用于语言建模

研究人员推出了一种新颖的语言建模架构TANGO，该架构通过非线性门控算子聚合令牌信息。该方法用单个跨令牌门控残差更新取代了标准的Transformer组件。其变体WANGO通过处理最近的窗口并使用旧数据的前缀统计信息，提供了线性复杂度。尽管TANGO的操作次数较高，但TANGO和WANGO在FineWeb-Edu、Lean和DeepMind Mathematics等基准测试上的表现均优于其他模型。