SSOG-Attention 提供可扩展的SDPA替代方案，降低了复杂性

研究人员开发了SSOG-Attention，这是一种新颖的方法，提供了标准缩放点积注意力（SDPA）的次二次方且可扩展的替代方案。通过学习高斯原子并基于查询令牌对其进行几何引导，SSOG-Attention将计算复杂度从O(N²·d)降低到O(N·√N·d)。实验表明，SSOG-Attention在CIFAR-100等较小数据集上优于SDPA，并在ImageNet-1K等较大数据集上以更快的收敛速度达到同等性能，同时在规模化时也更节省内存。 AI

影响 这种新的注意力机制可能带来更高效、更具可扩展性的AI模型，尤其是在图像识别任务方面。

排序理由 该集群描述了一篇提出用于机器学习模型的新型注意力机制的新研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/MachineLearning 阅读 →

• CIFAR-100
• ImageNet-1K
• Scaled Dot-Product Attention
• SSOG-Attention
• Sum Of Separable Gaussians

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →