实体
multi-index models
multi-index models
PulseAugur coverage of multi-index models — every cluster mentioning multi-index models across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
Neural network generalization near interpolation analyzed via statistical mechanics · 2 sources tracked
两篇新的arXiv论文探讨了具有广泛宽度的浅层神经网络在插值阈值附近的泛化能力。该研究使用统计力学分析了这些网络，揭示了在泛化误差独立于权重分布的通用阶段和泛化误差依赖于权重分布的专业化阶段之间存在一个相变。研究结果表明，虽然在插值附近存在高度预测性的解，但由于统计-计算差距，实际算法可能难以找到它们。
-
新框架揭示SGD在多指标模型上的局限性
已开发出一个新框架，用于分析标准随机梯度下降（SGD）在多指标模型上的局限性。多指标模型是依赖于输入数据的低维投影的函数。该研究超越了传统的统计查询（SQ）框架，解决了其对对抗性噪声的依赖和需要算法修改等缺点。所开发的框架适用于广泛的架构，包括潜在的深度神经网络，并能更准确地理解SGD在复杂学习场景下的性能极限。
-
核回归方法恢复多指标模型的中心子空间
研究人员开发了一种使用核岭回归和平均梯度外积（AGOP）的方法来识别数据中潜在的低维结构。该技术可以恢复多指标模型的中心子空间，即使在预测精度仍然很低的情况下也是如此。研究结果表明预测和表示之间存在分离，解释了迭代核方法（如递归特征机）的样本效率。