random Fourier features
PulseAugur coverage of random Fourier features — every cluster mentioning random Fourier features across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新的可扩展 MADD 算法应对大数据分类挑战
研究人员开发了一个可扩展版本的平均绝对距离差（MADD）算法，以解决其在大数据集上的计算限制。原始的 MADD 算法虽然在高维场景中有效，但其计算复杂度与训练样本数量呈二次方关系，使其不适用于大数据。提出的可扩展版本通过采用代表性样本选择并利用随机傅里叶特征进一步加速，显著降低了计算复杂度，从而能够将 MADD 应用于具有大量观测值的大数据。
-
新的MMD-Reg方法提供了可扩展、可微分的点云配准
研究人员推出了一种新的点云配准方法MMD-Reg，该方法既可微分又计算高效。该方法使用最大均值差异将配准建模为一个非线性最小二乘问题，并通过随机傅里叶特征进行近似。该方法的微分特性使其能够集成到端到端可训练的模型中，从而在初始对齐不良和部分重叠等具有挑战性的场景中提高性能。MMD-Reg已在监督和无监督环境中得到验证，其性能优于最近的基于学习的方法，并在准确性和可扩展性方面与传统的配准技术相当。
-
Flexformer 引入可学习注意力核以实现高效Transformer
研究人员推出了一种新颖的线性Transformer架构Flexformer，旨在克服传统Transformer的二次复杂度限制。Flexformer通过以数据驱动的方式学习注意力核来实现这一点，利用具有可训练频谱频率的随机傅里叶特征。这种方法具有更强的表达能力，并在语言建模和序列分类任务上展现出优于现有方法的性能。此外，Flexformer可以从预训练Transformer中蒸馏，并有望实现高效的长序列处理。
-
新的KAN变体解决了效率和硬件实现问题
研究人员开发了一种名为Kolmogorov-Arnold Fourier Networks (KAFs) 的Kolmogorov-Arnold Networks (KANs) 新变体，以解决参数效率和高频特征捕获方面的局限性。KAFs使用谱表示和可训练的随机傅里叶特征重新参数化网络，降低了参数复杂性，并提高了在计算机视觉和NLP等各种任务上的性能。同时，另一项研究工作探索了使用可重构非线性处理单元 (RNPUs) 的物理模拟KAN架构…
-
新算法利用傅里叶变换处理混合模型
研究人员开发了一种用于学习混合模型的新算法，该算法可以处理重尾分布，相比于以往依赖低阶矩的旧方法有了显著改进。这种新颖的方法利用了高效的高维稀疏傅里叶变换，并且不像高斯混合模型的算法那样，不需要簇均值之间有最小分离度。此外，另一项独立研究引入了一个回归框架，该框架结合了谱表示学习和局部可加建模，为异构数据创建了可解释的模型。
-
新的度量方法严格量化模型复杂度
研究人员开发了一种新的、数学上可靠且计算高效的模型复杂度测量方法。该方法基于分析不同输入下模型梯度的相似性，适用于包括参数化、非参数化和基于核的模型在内的各种模型。所提出的度量统一并推广了决策树和神经网络等各种模型的现有复杂度指标，为双下降等现象提供了新的见解。
-
新框架将函数先验整合到贝叶斯物理信息神经网络反演中
研究人员开发了一个名为fpBPINN的新框架，用于将函数先验整合到使用物理信息神经网络（PINNs）解决的贝叶斯反演问题中。该框架解决了在函数空间而非神经网络的典型权重空间中定义先验分布的挑战。该研究介绍了两种方法，FPI-BPINN和fParVI-PINN，并证明了它们在地震走时层析成像和Darcy流渗透率反演中的有效性，显示出准确的后验分布估计。