Gated linear unit

新型“全带宽Transformer”增强AI模型反馈通道

研究人员引入了一种名为“全带宽Transformer”的新型架构，它增强了自回归Transformer中的垂直反馈通道。这种新设计采用了“潜在反馈”，即将前一层的隐藏状态与采样令牌嵌入相结合，并反馈回模型。这使得非口语化计算能够重新进入堆栈，从而提高了语言评估、数学和代码生成以及指令遵循等任务的性能。全带宽Transformer在训练数据显著减少且解码开销极小的情况下，实现了与标准Transformer相当或更好的准确性。