研究人员开发了 Flash EQ-Linear,这是一种旨在显著加速神经网络中等变线性层的新型算法。通过利用傅里叶卷积定理和实数离散傅里叶变换的共轭对称性,该方法降低了计算复杂度。已为前向和后向传播实现了专用的 CUDA 内核,与现有的等变和非等变基线相比,在算子级别实现了高达 2 倍的加速,在 Flash EQ-ViT 和 Flash EQ-Swin 等网络上实现了高达 1.7 倍的端到端加速。 AI
影响 这一发展显著加速了等变神经网络,可能使其在更广泛的视觉任务中更具实用性。
排序理由 该集群描述了一种用于加速特定类型神经网络层的新算法及其实现,详细介绍在一篇 arXiv 论文中。[lever_c_demoted from research: ic=1 ai=1.0]
- CUDA
- density functional theory
- Equivariant Networks for Hierarchical Structures
- Flash EQ-Linear
- Flash EQ-Swin
- Flash EQ-ViT
- Fourier convolution theorem
- PyTorch
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →