StateLoop

StateLoop通过持久化状态增强循环Transformer，以改进语言建模

研究人员推出了一种新颖的方法StateLoop，用于增强循环Transformer（一种参数高效的语言建模方法）。StateLoop为每个token引入了一个由学习门控管理的持久化状态，以在循环计算迭代中保留信息。这种方法在标准循环Transformer上展示了改进的性能，降低了在Pile数据集上的困惑度，并提高了零样本任务的准确性，其益处随着循环计算深度的增加而扩展。