研究人员推出了一种新颖的神经网络架构ADPTNet,旨在克服Transformer在序列建模中的能耗问题。ADPTNet通过数据自适应、捕捉长距离依赖关系以及GPU并行化来匹配Transformer的性能,同时还融入了用于复杂推理的非线性递归。该架构结合了线性注意力和黎曼优化,以实现可预测的长期行为,并为时间尺度控制提供了理论保证。ADPTNet在选择性复制任务和序列CIFAR-10上已展示出改进的性能,在准确性和参数效率方面优于现有模型。 AI
影响 ADPTNet可能为当前用于序列任务的Transformer模型提供一种更节能的替代方案。
排序理由 该条目描述了一种新的神经网络架构及其在各种基准测试上的性能,属于研究类别。
在 arXiv cs.NE (Neural & Evolutionary) 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →