Multiscale Single-Index Model

用于分层特征学习的新型多尺度单指标模型

研究人员引入了多尺度单指标模型（MSIM），这是一个风格化框架，旨在研究具有尺度分离的分层特征学习。该模型通过让每一层提取一个共享的单指标特征来分析深度架构如何在不同尺度上学习表示。该研究详细介绍了MSIM与张量PCA模型的关系，并使用Edgeworth展开对Wiener混沌进行细粒度分析，揭示了能够有效进行谱恢复和反向传播方法分析的结构。研究结果表明，在线SGD可以实现近乎完美的恢复，其样本复杂度与线性模型相当。