Dohmatob et al.

新arXiv论文研究了合成数据对SGD泛化的影响

一篇新发表在arXiv上的论文探讨了合成数据对高维线性回归中随机梯度下降（SGD）泛化能力的影响。研究发现，虽然混合训练协议可能导致显著的模型崩溃，但一个两阶段的训练方法，即仅在初始阶段使用合成数据，可以避免这种性能瓶颈。该研究还推导了两种协议的缩放定律，表明更大的模型可能会加剧混合训练中合成数据的退化，但使用合成数据进行高质量的预训练可以改善两阶段方法中的偏差。