Elizabeth Collins-Woodfin

新框架精确模拟高维多类SGD动力学

研究人员开发了一个新框架，用于分析高维设置下多类随机梯度下降（SGD）的学习动力学。该框架提供了关键指标（如风险和信号重叠）的精确表达式，这些表达式在高维极限下表示为常微分方程的确定性系统。这种方法适用于广泛的优化问题，并能适应类别数量随维度增加的情况。该研究详细介绍了数据各向异性对二元逻辑回归和最小二乘损失的影响，确定了后者的学习率阈值以及前者的结构相变，尤其是在具有稀疏协方差矩阵的模型中。