Qiyuan Liu

研究论文提出使用合成数据验证来防止模型坍塌

一篇新的研究论文探讨了“模型坍塌”现象，即生成模型在自身合成数据上训练时，性能会随时间下降。研究提出，引入外部合成数据验证器（无论是人类还是其他模型）可以防止这种坍塌。对线性回归、带有MNIST的变分自编码器（VAE）以及在XSum上微调SmolLM2-135M的理论分析和实验表明，虽然验证器引导的再训练可以提供初步改进，但如果验证器不完全准确，最终可能导致性能停滞或逆转。