Lipschitz condition
PulseAugur coverage of Lipschitz condition — every cluster mentioning Lipschitz condition across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的渐进式知识蒸馏方法用于模型压缩
研究人员推出了一种名为 Progressive$^2$ 的新颖知识蒸馏方法，旨在实现大幅模型压缩。该方法采用一个渐进式增强的教师模型和一个渐进式减小的学生模型。教师模型利用基于课程的学习策略，逐步选择用于蒸馏的层，并引入多特征融合适配器以提高训练稳定性，该方法在理论上得到 Lipschitz 连续性的支持。学生模型的尺寸逐渐减小，以促进与教师模型的协同演化，从而提高整体性能，并在准确性和训练效率之间取得最佳平衡。
-
新研究统一了图神经网络的表达能力与几何学，并探索了随机特征
两篇新的arXiv论文探讨了图神经网络（GNNs）的理论基础。第一篇论文引入了一个使用经验Rademacher复杂度来统一GNN表达能力和几何学的框架，提供了考虑数据分布和输入空间几何学的更紧密的泛化界限。第二篇论文研究了具有随机节点特征的GNNs，为置换等变神经网络建立了普遍性结果，并推导了可微函数的逼近率。
-
新框架使用希尔伯特空间进行多维强化学习
一篇新研究论文介绍了 KE-DRL，一个用于多维分布强化学习的框架，该框架利用希尔伯特空间映射。这种方法估计多维值分布的核均值嵌入，用积分概率度量取代计算量大的 Wasserstein 度量。该方法专为复杂、连续的状态-动作空间设计，并为收敛性和收缩性提供了理论保证，在模拟中展示了鲁棒的离策略评估。
-
新数学论文探讨用于 ReLU 网络的 Barron 空间
一篇新的 arXiv 论文探讨了 Barron 空间内函数的数学性质，该空间专为具有单隐藏层的宽 ReLU 网络而设计。研究表明，在 Barron 空间中具有狄利克雷边界数据的调和函数通常不是 Lipschitz 连续的，也不属于 Sobolev 类 $H^2$。然而，这些函数可以通过低范数的 Barron 函数以高精度逼近，特别是在最多具有两个导数的 Lebesgue 和 Sobolev 范数下。这种正则性理论对于推导 Deep R…
-
深度学习理论论文探讨收敛性和Lipschitz连续性
两篇最新的arXiv论文深入探讨了深度学习的理论方面，重点关注收敛性和Lipschitz连续性。第一篇论文由Noboru Isobe撰写，探讨了深度神经网络的理想化连续深度模型，并利用Łojasiewicz--Simon不等式证明了其收敛到临界点。第二篇论文系统地回顾了深度学习中的Lipschitz连续性，考察了其理论基础、估计方法、正则化技术以及对鲁棒性和泛化能力的影响。
-
新的基准和框架推动了人工智能模型鲁棒性评估的进步
研究人员推出了 PRBench，这是一个旨在标准化深度学习模型概率鲁棒性评估的新基准。该基准在准确性、鲁棒性、训练效率和泛化误差等多个指标上比较了各种对抗性训练（AT）和针对性概率鲁棒性（PR）的训练方法。研究结果表明，AT 方法在提高对抗性和概率鲁棒性方面更为通用，而 PR 目标方法则提供了更好的泛化能力和干净准确性。此外，一个使用离散连续性模（DMOC）的新框架提供了一种数据驱动的方法来评估神经网络的鲁棒性，超越了传统的 Lips…