Dreaming Learning

梦想学习对抗生成式AI模型崩溃

研究人员开发了一种名为梦想学习的新正则化技术，以对抗生成式AI中的模型崩溃。这种现象是指模型在合成数据上训练时会丢失数据多样性和性能。研究人员通过学习到的转移算子的谱特性来分析这种现象。所提出的方法在训练过程中使用在更高温度下采样的样本，以防止模型学习到的算子变得过于确定性，从而保持谱间隙并保留数据多样性。该方法在缓解LSTM语言模型和GPT-2模型等各种设置中的模型崩溃方面显示出有效性。