一篇新的研究论文探讨了“模型坍塌”现象，即生成模型在自身合成数据上训练时，性能会随时间下降。研究提出，引入外部合成数据验证器（无论是人类还是其他模型）可以防止这种坍塌。对线性回归、带有MNIST的变分自编码器（VAE）以及在XSum上微调SmolLM2-135M的理论分析和实验表明，虽然验证器引导的再训练可以提供初步改进，但如果验证器不完全准确，最终可能导致性能停滞或逆转。 AI
影响 提出了一种提高在合成数据上训练的生成模型的稳定性和性能的方法。
排序理由 详细介绍生成模型新训练方法的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
