neural tangent kernels
PulseAugur coverage of neural tangent kernels — every cluster mentioning neural tangent kernels across labs, papers, and developer communities, ranked by signal.
-
SPARK方法通过稳定的NTK更新加速去中心化联邦学习
研究人员开发了SPARK，一种在异构数据条件下提高去中心化联邦学习（DFL）收敛速度和稳定性的新方法。SPARK利用分阶段退火的软标签正则化器结合动量来加速神经切线核（NTK）更新，而NTK在这些场景中传统上面临不稳定的挑战。所提出的方法在各种数据分布和网络设置下，与现有基线相比，收敛速度提高了3倍，通信量减少了约70%，同时保持了更高的准确性，显示出显著的改进。
-
使用费曼图计算有限宽度神经网络核校正
研究人员开发了一种新颖的方法，使用费曼图来计算神经网络切线核（NTKs）的有限宽度校正。这种方法简化了代数运算，并实现了层级递归关系，用于预测前导阶的训练动态。该框架已被证明可以扩展深度网络的稳定性结果，并证实对于像ReLU这样的尺度不变非线性函数，在Gram矩阵对角线上不存在有限宽度校正。数值实现表明，这些校正与宽度大于约20的采样神经网络统计数据一致。
-
ReLU 网络分析将 Fisher 信息与球谐函数联系起来
研究人员分析了具有随机隐藏权重的简单两层 ReLU 神经网络的 Fisher 信息矩阵。他们发现特征值分布显著地集中在特定的特征空间上，其中前三个特征空间几乎占了矩阵迹的全部。该研究确定这些主导特征空间对应于二阶或更低阶的球谐函数，并将其与神经切线核的 Mercer 分解联系起来。
-
研究人员提出用于无监督动作分割的深度核视频近似方法
研究人员开发了一种新颖的视频无监督动作分割方法，特别适用于无法存储或受限的大型数据集场景。该技术涉及在深度核空间内学习，以近似视频的帧分布，并使用最大均值差异（MMD）作为接近度度量。该方法利用神经切线核（NTKs）的描述能力，并避免在输入和核函数联合学习过程中出现平凡解。该方法在多个基准测试中表现出与最先进技术相媲美的性能，并且在分割数量未知时优于先前的方法。