Gaussian kernel sums

FlashAttention 加速核方法中的高斯核和

研究人员开发了一种利用 FlashAttention 计算高斯核和的方法，这是各种核方法中的关键组成部分。这种新颖的方法将归一化 softmax 归约转化为非归一化高斯和，只需最小的输入增强，无需自定义 GPU 代码。与现有的 PyTorch 和 PyKeOps 实现相比，该技术在速度、内存效率和准确性方面表现更优，尤其是在 fp16 中处理更高特征维度时。