ADPTNet

ADPTNet：新型神经网络旨在匹配Transformer的效率

研究人员推出了一种新颖的神经网络架构ADPTNet，旨在克服Transformer在序列建模中的能耗问题。ADPTNet通过数据自适应、捕捉长距离依赖关系以及GPU并行化来匹配Transformer的性能，同时还融入了用于复杂推理的非线性递归。该架构结合了线性注意力和黎曼优化，以实现可预测的长期行为，并为时间尺度控制提供了理论保证。ADPTNet在选择性复制任务和序列CIFAR-10上已展示出改进的性能，在准确性和参数效率方面优于现有模型。