word trigrams

模型坍塌：罗杰斯悖论解释生成式AI的知识流失

一篇新论文探讨了“模型坍塌”现象，即在先前模型输出上训练的生成模型会随着代际的演进而逐渐丢失知识。研究人员提出，可以通过罗杰斯悖论来理解这一问题，该悖论表明，仅依赖复制的数据会导致停滞，除非不断引入新信息。论文通过分析语言模型来检验这一理论，发现它们在合成数据上训练时保留的稀有知识较少。研究还表明，当模型在新鲜数据上训练或从固定的预训练权重重新启动时，它们对世界变化的适应性更强，并且用户对模型输出的验证对于打破坍塌循环至关重要。