Charles Hermite
PulseAugur coverage of Charles Hermite — every cluster mentioning Charles Hermite across labs, papers, and developer communities, ranked by signal.
-
高斯输入下学习正ReLU网络的新算法
研究人员开发了用于学习正ReLU网络的多元时间算法,特别解决了标准高斯输入的情况。这些算法实现了多元样本和实数算术复杂度,而无需对隐藏方向进行分离或条件假设。该工作结合了隐式Hermite矩、正交张量-链压缩和一个方向解码器,以限制返回远离任何原子的方向的概率。这项研究还建立了投影方向恢复和置信度放大,其样本复杂度与失败概率倒数的对数成正比。
-
Symmetry-Aware Feature Learning Shows Polynomial Advantage Over Agnostic Methods
研究人员证明了在多指标模型中,对称感知和对称不可知特征学习在样本复杂度上存在显著的多项式分离。该研究侧重于具有循环对称性的高维高斯协变量,比较了三种方法:架构权重共享、数据增强以及无对称性感知学习。研究结果表明,与对称不可知学习器相比,对称约束的卷积网络和使用全组数据增强训练的网络在样本效率方面均表现更优,提供了多项式优势。
-
新理论解释了损失平台期期间神经网络的学习
研究人员开发了一个新的理论框架来理解神经网络如何学习,特别是在整体损失停滞不前的时期。该研究侧重于具有 ReLU 和 Leaky ReLU 激活的两层网络,证明即使在种群损失保持不变的情况下,网络也能学习到更具预测性的表示。研究结果提供了发生这种情况的数学条件,显示了在网络复杂度受到限制的情况下,对齐度的提高和均方误差的减少。
-
New Adam Theorem Unveiled for Spectral Heavy-Tail Onset in ML Models
研究人员开发了一个名为“完整Adam定理”的综合理论框架,用于分析高斯Stein-Hermite师生模型中的谱重尾Onset。该定理详细阐述了Adam优化算法的每一步,从动量和分母计算到投影更新响应和近似目标KL收缩的推导。研究结果建立了一个依赖于谱隙的命中时间定律,并证明了对于该模型而言,不可能存在更强的任意梯度Adam定理。
-
新理论解释浅层神经网络中的增量学习
研究人员开发了一个新的理论框架,用于理解浅层神经网络中的增量学习。这项工作侧重于在标准初始化下,在正交多指标目标上训练的多项式宽度两层网络。研究结果表明,增量学习仍然发生,损失根据目标的厄米展开式顺序下降,低阶分量先于高阶分量被学习。