新的“关系”原语挑战语言模型中的注意力机制

研究人员引入了“关系”（Relation），一种新颖的语言模型令牌混合原语，它在推导信息流之前，将成对证据组织成显式的自我（Self）和交换（Exchange）关系。这种方法产生了多种变体，包括全关系（Full Relation）、闪电关系（FlashRelation）、线性关系（Linear Relation）和混合关系（Hybrid Relation），以及关系缓存（Relation Cache）。实验表明，在各种模型规模下，全关系（Full Relation）在验证NLL方面优于标准的Multi-Head Attention (MHA)，而闪电关系（FlashRelation）相比于物化的全关系（Full Relation）提供了显著的速度提升，并且接近PyTorch FlashAttention的吞吐量。混合关系（Hybrid Relation）通过使用大多数线性关系（Linear Relation）层，展示了强大的语言建模质量。 AI

影响 引入了一种新的架构原语，与LLM中的标准注意力机制相比，可能带来性能和效率上的提升。

排序理由 介绍语言模型新颖技术原语的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

• arXiv
• FlashRelation
• Full Relation
• Hugging Face
• Hybrid Relation
• PyTorch FlashAttention
• Relation
• Relation Cache

• 论文
• 模型发布

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →