实体
Fourier Spectra
Fourier Spectra
PulseAugur coverage of Fourier Spectra — every cluster mentioning Fourier Spectra across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新研究证明了常数深度与对数深度神经网络之间的算法分离
研究人员首次建立了常数深度与对数深度神经网络之间的算法分离。他们识别出一类具有结构化傅里叶谱的布尔函数，这类函数可以通过逐层坐标下降法被对数深度网络高效学习。相反，他们证明了具有多项式宽度和受控谱范数的常数深度网络在均匀超立方体分布下难以逼近这些函数，会产生显著误差。
-
新理论通过傅里叶频谱解释Transformer泛化能力
研究人员开发了一个新的理论框架来理解Transformer如何泛化，重点关注其目标函数的傅里叶频谱。该方法利用PAC-Bayes理论推导泛化界限，与之前基于Rademacher复杂度的研究方法形成对比。研究表明，集中在低度分量上的稀疏频谱有利于具有强大泛化能力的低锐度构造，并通过实证评估和可解释性研究得到了支持。