FFT-convolution

HyenaND: 新型处理多维数据的亚二次算子

研究人员推出 HyenaND，这是一种新颖的亚二次算子，旨在处理多维数据，同时不损害准确性或空间结构。与标准卷积或循环模型不同，HyenaND 通过隐式参数化的卷积核直接作用于图像和体积等数据的原生几何。其 CUDA 实现 nSubQ 通过融合 FFT 卷积路径实现了显著的加速。在从基因组学到医学成像和 PDE 建模等应用中，HyenaND 堆栈在准确性方面已证明可与注意力基线相媲美，而混合配置的性能优于纯注意力和基于循环的模型。