揭示Transformer注意力机制的新几何方法

本文介绍了一个新的几何框架，用于理解和开发Transformer架构中的注意力机制。作者将“知识世界”和“注意力配对”等概念形式化，以推导出标准、因果、线性、张量注意力和循环神经网络等现有注意力类型。该研究还提出了可能激发全新神经网络架构的几何空间。 AI

影响 提出了可能激发新颖神经网络架构并提升Transformer能力的新几何框架。

排序理由 该项目是一篇学术论文，详细介绍了机器学习模型的新颖理论概念和潜在新架构。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• alphaXiv
• Architectures du printemps
• artificial neural network
• arXiv
• Attention Mechanism
• Attention pairing
• CatalyzeX Code Finder for Papers
• Causal attention
• Connected Papers
• DagsHub
• Geometric knowledge spaces
• knowledge worlds
• linear attention
• Litmaps
• machine learning
• Recurrent Neural Networks
• scite Smart Citations
• standard attention
• tensor attention
• transformer

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →