Neural tangent kernel
PulseAugur coverage of Neural tangent kernel — every cluster mentioning Neural tangent kernel across labs, papers, and developer communities, ranked by signal.
- 2026-05-13 research_milestone Publication of a paper introducing a force-aware Neural Tangent Kernel for active learning of MLIPs. 来源
4 天有情绪数据
-
新方法可学习谱激活改进神经网络表示
研究人员推出了一种新颖的隐式神经表示（INR）方法——可学习谱激活（LSA）。LSA用截断的傅里叶级数残差替换固定的非线性，允许在训练期间学习谐波幅度。该方法通过将线性权重选择与频谱整形分离开来，优化了表示的分解，从而在音频、图像和神经场等各种任务中提高了优化和重建质量。
-
新的初始化策略解决了物理信息神经网络中的频谱偏差问题
研究人员为傅里叶特征物理信息神经网络（PINNs）开发了一种新的初始化策略，以解决频谱偏差问题。频谱偏差是指在训练过程中，目标函数的某些频率收敛速度较慢的常见问题。通过分析神经切线核（Neural Tangent Kernel）机制下的训练动力学，他们推导出一个方程，表明初始化权重显著影响频率收敛速率。所提出的方法根据要解决的特定偏微分方程（PDE）调整初始权重分布，平衡了不同频率的收敛性，并在不增加训练成本的情况下提高了预测精度。
-
新的机器学习遗忘方法解决了时间序列预测中的偏差和数据删除问题
两篇新研究论文介绍了针对时间序列预测的新型机器学习遗忘技术。第一篇论文 SSU-LSF 通过开发一个框架来消除非平稳混杂事件的影响，解决了 Mamba 等陆面预测模型中的偏差问题。第二篇论文 RDTU 提出了一个残差扩散框架来处理时间序列预测中的数据删除请求，解决了参数更新传播和已删除模式的非均匀支持等挑战。
-
新的SBD框架挑战语言模型中的因果关系
一项新的研究论文提出了系统行为（SBD）框架，该框架将系统行为与数据分布并列作为基本组成部分。该框架理论上识别出一种“因果税”现象，表明由于忽略了系统行为，严格遵守因果关系可能是次优的。为了减轻这种税收，论文引入了Green Shell（GSH），这是一种非因果变分族，用于划分系统行为组件。使用神经切线核（NTK）进行的评估表明，与因果方法相比，GSH实现了更严格的误差界限和更优越的泛化能力。
-
新方法使NTK统计在大型神经网络中变得实用
研究人员开发了一种方法，可以有效地估计大型神经网络的神经切线核（NTK）的统计数据，克服了显式计算的计算和内存挑战。这种新方法利用随机迹估计，特别是Hutch++算法，来近似关键NTK统计数据，如迹、Frobenius范数、有效秩和对齐。该方法已在各种架构上得到验证，包括多达4.1亿个参数的Transformer，显示出显著的加速，并使NTK诊断对于大规模模型变得实用。研究人员还探索了使用NTK对齐作为知识蒸馏的正则化器，发现在泛化方…
-
新框架通过极限核分析编码器-解码器算子学习
本文介绍了一种分析编码器-解码器架构中算子学习的新颖框架。它在函数空间上构建算子学习，解决了有限维训练数据表示的挑战。研究表明，随着输入和输出分辨率的增加，诱导核收敛到极限核，从而实现分辨率无关的正则性假设。该工作还为正则化随机梯度下降提供了理论界限，并将分析扩展到使用极限神经切线核的编码器-解码器神经网络。
-
Latent-MoE架构增强了用于复杂偏微分方程的物理信息神经网络
研究人员开发了Latent-MoE，一种新颖的域感知专家混合（Mixture-of-Experts）架构，旨在提高物理信息神经网络（PINNs）在具有复杂、多状态物理学的偏微分方程（PDEs）上的性能。标准的PINNs在处理这类问题时会遇到困难，因为其神经切线核（NTK）存在问题，这可能导致训练过程中出现长距离耦合和梯度冲突。Latent-MoE通过在共享骨干网络中插入域感知的MoE模块来解决这个问题，从而实现局部学习，同时允许容量跨…
-
新算法利用NTK和元学习增强神经场重建
研究人员开发了三种新算法，以提高神经场的重建质量和效率。神经场将连续坐标映射到颜色或密度等信号。第一种算法NTK-KIP使用蒸馏的坐标支持集，为稀疏数据中的大区域修复启用有限神经切线核（NTK）回归。第二种算法MetaQuill元学习隐式神经表示（INR）的共享初始化，通过仅更新少量特定任务的权重偏移来实现特征学习和可重用先验。第三种算法MetaQuill-KIP结合了这两种方法，使用非线性预热和精炼元学习初始化，通过轻量级的每实例适…
-
AdaptNTK框架提升了AI在分子动力学模拟中的应用
研究人员开发了AdaptNTK，一种用于神经网路势能不确定性量化和主动学习的新型框架。这种单一模型方法使用经验神经切线核（NTK）特征空间中的正则化马氏距离来估计不确定性，并且可以在不重新训练的情况下递归更新。AdaptNTK在分子动力学模拟中表现出强大的性能，与力误差实现了高相关性，并在rMD17和Transition-1X等数据集的主动学习实验中，尤其是在过渡态构型方面，优于集成方法。
-
分析了分岔附近循环神经网络的学习动力学
一篇新的研究论文探讨了循环神经网络（RNNs）在接近临界过渡点（称为分岔）时的学习动力学。该研究利用全局经验神经切线核（GeNTK）证明，学习几何被放大并变得各向异性，集中于特定的低秩通道。这一理论框架通过高维RNNs和多任务LeakyRNN的实验得到验证，显示GeNTK放大与突然的损失变化、子任务干扰以及内部动力学变化之间存在相关性。
-
新理论将相关性传播与深度学习中的神经切线核联系起来
研究人员在深度神经网络中的相关性传播与神经切线核（NTK）之间建立了理论联系。通过结合均值场理论和随机矩阵理论，他们证明了相关性传播到无限深度仅在权重-偏差方差平面上的临界点才可能发生。在该临界点，端到端雅可比行列式随着深度的增加而代数式地消失，导致NTK与输出相关性成正比。研究还表明，与高斯初始化相比，正交初始化能更好地控制有限宽度、有限深度的网络的渐近动力学。
-
新工具解释电力系统动力学中的神经网络训练
研究人员开发了新的分析工具来解释电力系统动力学中使用的机器学习代理模型的训练性能。通过借鉴电力系统的小信号特征值分析，神经网络切线核（NTK）方法提供了学习性能的模态解释。该方法将电力系统模型中的物理刚度与神经网络训练过程中的优化刚度联系起来，从而能够开发自适应损失加权策略，并解释为什么某些神经网络架构（如ActNet）的性能优于标准神经网络。这些工具旨在超越试错式设计，为工程应用中创建更可靠的机器学习代理提供物理感知洞察。
-
弱相关性原理解释了基于梯度的学习系统中的线性化
一篇新发表在arXiv上的论文探讨了弱相关性原理是观察到的基于梯度的学习系统线性化的根本原因。研究表明，深度学习模型中看到的简化动力学，尤其是在无限极限下，可以归因于假设函数相对于参数的一阶和高阶导数之间的弱相关性。这一见解在宽神经网络中得到了证明，并导致了在随机梯度下降训练期间偏离线性的推导界限。
-
新框架通过信息传播路径增强物理信息神经网络
研究人员开发了一种新的物理信息神经网络（PINNs）框架，解决了这些网络在处理偏微分方程方面的局限性。提出的多维度训练优先级加权系统考虑了信息的物理传播，优先从源区域到依赖区域在空间、时间、边界维度上进行学习。该方法通过神经切线核动力学进行分析，旨在通过使网络的学习过程与物理原理保持一致来提高训练稳定性和预测精度，在不改变网络架构的情况下，在基准案例上持续改进。
-
新的微分神经切线核框架推进了PINN分析
研究人员引入了微分神经切线核（DNTK）作为分析物理信息神经网络（PINN）的新理论框架。该框架在各种激活函数和线性微分算符下，为浅层和深层神经网络的无限宽度DNTK的正性奠定了基础。这些发现对于推进PINN的基于梯度的训练算法的分析至关重要，特别是在求解偏微分方程方面。
-
研究发现：神经网络在组合任务上表现优于NTK限制
一项新的研究论文探讨了训练过的神经网络与其神经切线核（NTK）限制之间的性能差距，特别是在具有组合结构的任务上。该研究在傅里叶复杂度（控制NTK核回归）和架构复杂度（与深度ReLU网络的学习能力相关）之间引入了一个二分法。研究结果表明，当这些复杂度发散时，NTK估计器可能比标准网络存在指数级的次优性，这在迭代锯齿波和超立方稀疏奇偶校验模型等特定模型上得到了证明。
-
论文分析基于分数的生成模型的SGD收敛性
研究人员发表了一篇论文，分析了基于分数的生成模型（SGMs）训练的优化动力学。该研究侧重于随机梯度下降（SGD），并为一般的分数参数化提供了收敛速率，同时考虑了权重因子。此外，对于过参数化的双层ReLU网络，该论文使用神经切线核（Neural Tangent Kernel）分析来确定SGD轨迹上的分数近似误差界限。研究结果为重排因子在SGMs分数近似中的影响提供了理论指导。
-
新研究详解基于分数的生成模型SGD收敛性
研究人员发表了一篇论文，详细介绍了随机梯度下降（SGD）应用于基于分数的生成模型（SGMs）时的非渐近收敛性。该研究为训练SGMs的SGD提供了理论保证，解决了优化动力学问题，而这方面的研究比其采样过程的研究要少。该工作为一般分数参数化建立了收敛率，并使用神经切线核分析了过参数化网络，为实际中的权重选择提供了指导。
-
新的变分表述简化了神经网络训练
研究人员提出了一种新颖的浅层神经网络变分表述，将离散训练问题视为连续变分代理。该方法利用加权 Sobolev 空间中的 $\lambda$-凸泛函，证明了全局适定性和稳定性以及出乎意料的正则性。与现有方法不同，这种表述提供了对椭圆正则性和凸分析的直接访问，通过单个线性系统求解最优参数密度，从而完全绕过了迭代优化。该工作还建立了明确的泛化误差控制，并证明了有限宽度网络以 $O(1/N)$ 的速率达到连续体最优值，弥合了神经切线核和特征学…
-
新框架分析用于PDF拟合的神经网络训练
研究人员开发了一个使用神经切线核（NTK）的理论框架，用于分析用于部分子分布函数（PDF）拟合的神经网络的训练动力学。该方法提供了神经网络在训练过程中演变的解析描述，阐明了架构和实验数据的影响。它还提供了一种定量方法来理解不确定性如何从数据传播到拟合函数，并作为拟合方法学的诊断工具。