Rademacher Complexity
PulseAugur coverage of Rademacher Complexity — every cluster mentioning Rademacher Complexity across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新的神经网络提前停止规则可绕过训练
研究人员开发了一种新的、依赖数据的神经网络训练提前停止规则，该规则可以解析地估计泛化误差，从而无需通过梯度下降进行数值估计。这个新颖的框架基于具有L1范数的Rademacher复杂度，为依赖随机矩阵理论且通常对数据分布做出限制性假设的现有方法提供了一种替代方案。该方法最初专注于线性模型，但通过线性探测可以扩展到非线性神经网络，如在MNIST分类示例中所示。
-
多任务深度学习的新算子理论界
研究人员为深度多任务学习模型开发了算子理论泛化界。该方法将网络层表示为向量值再生核希尔伯特空间中的Koopman组合算子。该方法为特定的网络架构产生了Rademacher复杂性界，并区分了输出耦合和层算子范数的贡献。研究还探讨了一维布朗/Cameron--Martin模型，提供了不依赖于Sobolev光滑指数的层界。
-
新框架在非凸环境中实现最优和受约束学习
研究人员开发了一个用于非凸环境约束统计学习的新框架，旨在同时实现最优性和约束满足。该方法利用再生核希尔伯特空间内的通用假设类来调和泛化要求与强拉格朗日对偶性。该方法建立了通用的 PACC（在约束条件下可能近似正确）可学性，提供了多项式于所需精度的显式样本复杂度界限。
-
新研究统一了图神经网络的表达能力与几何学，并探索了随机特征
两篇新的arXiv论文探讨了图神经网络（GNNs）的理论基础。第一篇论文引入了一个使用经验Rademacher复杂度来统一GNN表达能力和几何学的框架，提供了考虑数据分布和输入空间几何学的更紧密的泛化界限。第二篇论文研究了具有随机节点特征的GNNs，为置换等变神经网络建立了普遍性结果，并推导了可微函数的逼近率。
-
新数据策略通过中间求解器迭代提升生成模型训练
本文介绍了一种新颖的数据收集策略，用于训练生成模型，特别是在参数优化问题中数据稀缺的情况下。所提出的方法使用中间求解器迭代来增强数据集，在无需额外求解器运行的情况下有效地增加了训练数据。研究人员使用 Rademacher 复杂度推导了一个泛化界限，以分析该方法的优势，重点关注单边盒约束二次规划的投影梯度下降。研究结果表明，该方法可以提高数据-模型-优化循环的效率，并可能改进数据高效的全局搜索方法。
-
新方法使用随机标签研究深度神经网络中的记忆
研究人员开发了一种新颖的方法，使用随机标签预测头（RLP-heads）来实证研究深度神经网络中的记忆。这些RLP-heads连接在网络的各个深度，从中间表示预测随机标签，通过估计Rademacher复杂度，直接衡量样本级记忆和模型容量。该研究还引入了一种基于RLP-head输出的新正则化技术来减少记忆，发现这种减少会以依赖于数据集和设置的方式影响泛化，挑战了过拟合和记忆的直接等价性。
-
新理论为深度神经网络的对抗Rademacher复杂度提供界限
研究人员首次为深度神经网络（DNN）中的对抗Rademacher复杂度（ARC）开发了理论界限。这一新界限解决了DNN泛化到受扰动测试数据的挑战，尽管它们能够拟合受扰动训练数据，但这一问题一直存在。该方法引入了“中间对抗样本”的概念和一个兼容的计算覆盖数的框架，与现有的Rademacher复杂度界限进行了定性比较。实验表明，权重范数是DNN中观察到的鲁棒泛化差距的一个重要因素。
-
新理论解释了部分训练神经网络的训练动力学
研究人员开发了一个新的理论框架，以理解部分训练的三层神经网络的训练动力学。通过将平均场理论扩展到函数空间，他们证明了极限模型遵循具有时变核的函数梯度流。这种方法证明了训练损失的线性收敛，并展示了跨不同缩放机制下的特征学习。
-
新研究利用PAC学习解决科学发现的复杂性问题
一篇新的研究论文通过PAC学习的视角，重点关注组合函数树，探讨了科学发现的样本复杂度。该研究证明了泛化量Rademacher复杂度受限于树的深度及其算子的Lipschitz常数，而不是指数增长。作者开发了一个可训练可微算子树的代码库，并通过实证证明泛化差距与其预测复杂度相关。
-
新型P-K-GCN模型利用物理学和库普曼理论增强时空超分辨率
研究人员开发了一种新颖的物理增强型库普曼增强图卷积网络（P-K-GCN），用于处理不规则几何形状上的时空超分辨率。该方法将基于连续样条的GCN与库普曼算子理论相结合，以在潜在空间中线性化非线性动力学。该框架通过基于物理学的损失函数得到进一步增强，以确保遵守物理定律，理论上通过降低Rademacher复杂度来减少超分辨率误差。在从稀疏测量重建心脏电动力学方面的评估表明，P-K-GCN在准确性方面优于基线模型。
-
用于平滑损失函数的新型PAC-Bayes去随机化方法
研究人员开发了一种新的方法，用于去随机化PAC-Bayes泛化界，特别适用于平滑损失函数。该方法旨在通过利用损失函数和预测器类别的平滑特性，为确定性预测器创建高概率界。研究详细介绍了从Gibbs预测器过渡到后验均值确定性预测器的成本，将其与Jensen差距类的泛化差距联系起来，并提出了一个受理论框架启发的实用正则化器。
-
新理论通过傅里叶频谱解释Transformer泛化能力
研究人员开发了一个新的理论框架来理解Transformer如何泛化，重点关注其目标函数的傅里叶频谱。该方法利用PAC-Bayes理论推导泛化界限，与之前基于Rademacher复杂度的研究方法形成对比。研究表明，集中在低度分量上的稀疏频谱有利于具有强大泛化能力的低锐度构造，并通过实证评估和可解释性研究得到了支持。
-
为自适应数据拟合Q迭代开发了测度理论
研究人员为拟合Q迭代（FQI）开发了一个新的理论框架，该框架将测度理论基础与强化学习中的实际误差分析相结合。该框架提供了有限样本性能界限和自适应数据保证，弥补了理论模型与深度强化学习在复杂系统中的应用之间的重大差距。这项工作进一步为在连续空间中提供FQI的第一个累积、路径在线遗憾保证奠定了基础，为分析现代深度强化学习算法奠定了基础。
-
通过 Rademacher 复杂度分析脉冲神经网络的泛化界限
研究人员利用 Rademacher 复杂度对脉冲神经网络（SNNs）的泛化界限进行了理论研究。研究发现，SNNs 的经验 Rademacher 复杂度与网络配置密切相关，特别是随着网络深度和最大脉冲序列持续时间的增加呈指数级增长。与以往的工作相比，这种分析提供了对 SNN 泛化更精确的理解，并可能为未来的 SNN 开发提供信息。
-
论文通过泛化界批评挑战深度学习理论
讨论了两篇论文，一篇是2016年由Zhang等人发表的，另一篇是2019年由Nagarajan和Kolter发表的，它们对深度学习理论产生了影响。2016年的论文表明，标准神经网络可以轻松记住随机数据，挑战了基于假设类复杂度的现有泛化理论。随后的研究试图开发依赖于数据的界限，但2019年的论文被认为是对此类努力的又一次打击，表明一致收敛可能不足以解释深度学习的成功。