Rademacher Complexity
PulseAugur coverage of Rademacher Complexity — every cluster mentioning Rademacher Complexity across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新方法使用随机标签研究深度神经网络中的记忆
研究人员开发了一种新颖的方法，使用随机标签预测头（RLP-heads）来实证研究深度神经网络中的记忆。这些RLP-heads连接在网络的各个深度，从中间表示预测随机标签，通过估计Rademacher复杂度，直接衡量样本级记忆和模型容量。该研究还引入了一种基于RLP-head输出的新正则化技术来减少记忆，发现这种减少会以依赖于数据集和设置的方式影响泛化，挑战了过拟合和记忆的直接等价性。
-
新理论为深度神经网络的对抗Rademacher复杂度提供界限
研究人员首次为深度神经网络（DNN）中的对抗Rademacher复杂度（ARC）开发了理论界限。这一新界限解决了DNN泛化到受扰动测试数据的挑战，尽管它们能够拟合受扰动训练数据，但这一问题一直存在。该方法引入了“中间对抗样本”的概念和一个兼容的计算覆盖数的框架，与现有的Rademacher复杂度界限进行了定性比较。实验表明，权重范数是DNN中观察到的鲁棒泛化差距的一个重要因素。
-
新理论解释了部分训练神经网络的训练动力学
研究人员开发了一个新的理论框架，以理解部分训练的三层神经网络的训练动力学。通过将平均场理论扩展到函数空间，他们证明了极限模型遵循具有时变核的函数梯度流。这种方法证明了训练损失的线性收敛，并展示了跨不同缩放机制下的特征学习。
-
新研究利用PAC学习解决科学发现的复杂性问题
一篇新的研究论文通过PAC学习的视角，重点关注组合函数树，探讨了科学发现的样本复杂度。该研究证明了泛化量Rademacher复杂度受限于树的深度及其算子的Lipschitz常数，而不是指数增长。作者开发了一个可训练可微算子树的代码库，并通过实证证明泛化差距与其预测复杂度相关。
-
新型P-K-GCN模型利用物理学和库普曼理论增强时空超分辨率
研究人员开发了一种新颖的物理增强型库普曼增强图卷积网络（P-K-GCN），用于处理不规则几何形状上的时空超分辨率。该方法将基于连续样条的GCN与库普曼算子理论相结合，以在潜在空间中线性化非线性动力学。该框架通过基于物理学的损失函数得到进一步增强，以确保遵守物理定律，理论上通过降低Rademacher复杂度来减少超分辨率误差。在从稀疏测量重建心脏电动力学方面的评估表明，P-K-GCN在准确性方面优于基线模型。
-
用于平滑损失函数的新型PAC-Bayes去随机化方法
研究人员开发了一种新的方法，用于去随机化PAC-Bayes泛化界，特别适用于平滑损失函数。该方法旨在通过利用损失函数和预测器类别的平滑特性，为确定性预测器创建高概率界。研究详细介绍了从Gibbs预测器过渡到后验均值确定性预测器的成本，将其与Jensen差距类的泛化差距联系起来，并提出了一个受理论框架启发的实用正则化器。
-
新理论通过傅里叶频谱解释Transformer泛化能力
研究人员开发了一个新的理论框架来理解Transformer如何泛化，重点关注其目标函数的傅里叶频谱。该方法利用PAC-Bayes理论推导泛化界限，与之前基于Rademacher复杂度的研究方法形成对比。研究表明，集中在低度分量上的稀疏频谱有利于具有强大泛化能力的低锐度构造，并通过实证评估和可解释性研究得到了支持。
-
为自适应数据拟合Q迭代开发了测度理论
研究人员为拟合Q迭代（FQI）开发了一个新的理论框架，该框架将测度理论基础与强化学习中的实际误差分析相结合。该框架提供了有限样本性能界限和自适应数据保证，弥补了理论模型与深度强化学习在复杂系统中的应用之间的重大差距。这项工作进一步为在连续空间中提供FQI的第一个累积、路径在线遗憾保证奠定了基础，为分析现代深度强化学习算法奠定了基础。
-
通过 Rademacher 复杂度分析脉冲神经网络的泛化界限
研究人员利用 Rademacher 复杂度对脉冲神经网络（SNNs）的泛化界限进行了理论研究。研究发现，SNNs 的经验 Rademacher 复杂度与网络配置密切相关，特别是随着网络深度和最大脉冲序列持续时间的增加呈指数级增长。与以往的工作相比，这种分析提供了对 SNN 泛化更精确的理解，并可能为未来的 SNN 开发提供信息。
-
论文通过泛化界批评挑战深度学习理论
讨论了两篇论文，一篇是2016年由Zhang等人发表的，另一篇是2019年由Nagarajan和Kolter发表的，它们对深度学习理论产生了影响。2016年的论文表明，标准神经网络可以轻松记住随机数据，挑战了基于假设类复杂度的现有泛化理论。随后的研究试图开发依赖于数据的界限，但2019年的论文被认为是对此类努力的又一次打击，表明一致收敛可能不足以解释深度学习的成功。