baseVultra

baseVultra：新的紧凑型非线性递归单元在特定场景下优于LSTM/GRU

研究人员推出了一种新颖的紧凑型非线性递归神经网络单元baseVultra，专为流式序列建模而设计。这种新架构将计算资源从门变换重新分配到候选生成，其特点是将集中的密集递归预算放在单个矩阵上，并用更简单的对角线交互替换递归门矩阵。在TinyShakespeare和text8数据集上的实验中，baseVultra在具有受限隐藏状态容量的紧凑型场景下，与LSTM和GRU模型相比，表现出具有竞争力或更优越的性能。