ITNet架构统一了卷积、注意力和循环

研究人员推出了一种新颖的神经网络架构ITNet，它将卷积、注意力和循环统一为一种可学习的积分变换。该架构使用一个可学习的核（实现为MLP）来模拟成对交互，使其能够根据数据调整其行为。通过调整参数，ITNet可以恢复各种现有架构的功能，包括LSTM、GRU、S4、Mamba和自注意力。该模型在ImageNet-1K、GLUE、ModelNet40、VQA v2和NLVR2等多个基准测试中都表现出具有竞争力或更优的性能。 AI

影响 统一了不同的神经网络架构，可能简化模型设计并提高各种任务的性能。

排序理由 该项目是一篇介绍新神经网络架构的学术论文。 [lever_c_research降级：ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• attention
• convolutional neural network
• gated recurrent unit
• Glue
• ITNet
• long short-term memory
• Mamba
• ModelNet40
• multilayer perceptron
• NLVR2
• S4 (Hanover)
• VQA v2

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →