multi-index models
PulseAugur coverage of multi-index models — every cluster mentioning multi-index models across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
Symmetry-Aware Feature Learning Shows Polynomial Advantage Over Agnostic Methods
研究人员证明了在多指标模型中，对称感知和对称不可知特征学习在样本复杂度上存在显著的多项式分离。该研究侧重于具有循环对称性的高维高斯协变量，比较了三种方法：架构权重共享、数据增强以及无对称性感知学习。研究结果表明，与对称不可知学习器相比，对称约束的卷积网络和使用全组数据增强训练的网络在样本效率方面均表现更优，提供了多项式优势。
-
Neural network generalization near interpolation analyzed via statistical mechanics · 2 sources tracked
两篇新的arXiv论文探讨了具有广泛宽度的浅层神经网络在插值阈值附近的泛化能力。该研究使用统计力学分析了这些网络，揭示了在泛化误差独立于权重分布的通用阶段和泛化误差依赖于权重分布的专业化阶段之间存在一个相变。研究结果表明，虽然在插值附近存在高度预测性的解，但由于统计-计算差距，实际算法可能难以找到它们。
-
新框架揭示SGD在多指标模型上的局限性
已开发出一个新框架，用于分析标准随机梯度下降（SGD）在多指标模型上的局限性。多指标模型是依赖于输入数据的低维投影的函数。该研究超越了传统的统计查询（SQ）框架，解决了其对对抗性噪声的依赖和需要算法修改等缺点。所开发的框架适用于广泛的架构，包括潜在的深度神经网络，并能更准确地理解SGD在复杂学习场景下的性能极限。
-
核回归方法恢复多指标模型的中心子空间
研究人员开发了一种使用核岭回归和平均梯度外积（AGOP）的方法来识别数据中潜在的低维结构。该技术可以恢复多指标模型的中心子空间，即使在预测精度仍然很低的情况下也是如此。研究结果表明预测和表示之间存在分离，解释了迭代核方法（如递归特征机）的样本效率。