model collapse
PulseAugur coverage of model collapse — every cluster mentioning model collapse across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
AI model collapse: Is AI-generated content poisoning future training data?
The concept of "model collapse" suggests that the proliferation of AI-generated content is degrading the quality of internet data, which in turn could negatively impact the training of future AI models. A user on Reddit…
-
人工智能面临“模型崩溃”，人类数据日益减少
专家们正在警告一种被称为“模型崩溃”的现象，当人工智能模型在其他人工智能模型生成的数据上进行训练时，就会发生这种情况。这个过程可能导致人工智能性能的显著下降。人们担心，到2026年，用于训练高质量人工智能至关重要的人类生成数据可能就会枯竭。
-
AI模型崩溃：样本选择偏差加速孤立数据中的崩溃
一篇新发表在arXiv上的研究论文探讨了AI中“模型崩溃”的现象，当在合成数据上进行递归训练导致模型输出同质化和分布尾部侵蚀时，就会发生这种情况。该论文表明，通常用作补救措施的样本选择，在数据孤立且参考分布存在偏差时，会适得其反地加速模型崩溃。这个问题在医疗或金融等无法汇集数据的低资源环境中尤为重要。研究人员提出使用来自多个孤立数据的协作代理参考作为初步缓解策略，以减少多样性退化。
-
新模型追踪AI模型因合成数据污染而崩溃
研究人员开发了一种新的流行病学模型，以理解合成数据污染如何降级AI模型。他们的双层SIR/SIRS框架将AI模型和数据语料库视为相互作用的种群，识别关键的传播动力学。该模型表明，当前AI文本的普遍存在可能导致超临界污染，强调了基于检测的过滤和群体免疫策略的重要性。
-
新方法对抗医学影像AI中的预测偏差
研究人员发现了一种测试时自适应方法中的关键失效模式，称为模型坍塌，在这种模式下，类别簇会合并并导致预测偏差。他们提出了一种新的目标函数——分布偏移偏差减少（DSBR），通过确保损失函数中各类别贡献的平衡来抵消这一问题。在医学影像数据集和ImageNet-C上的实验表明，DSBR能有效稳定自适应过程，防止模型坍塌，并取得具有竞争力或更优的性能。
-
AI模型崩溃的阴影笼罩，因未经核实的内容充斥网络
互联网上未经核实的AI生成内容日益泛滥，引发了人们对AI实验室“模型崩溃”的担忧。这种现象发生在AI模型训练的数据受到其他AI模型严重影响或由其创造时，可能导致性能和理解能力的下降。据报道，中等规模的AI实验室正在采取策略来过滤其预训练数据，但这些方法在应对日益增长的合成内容洪流方面的有效性受到质疑。有人猜测，只有先进的专有验证系统才能阻止这个问题。
-
文化演化理论解释模型崩溃
研究人员将模型崩溃（大型语言模型在训练自身输出来进行训练时会退化）这一现象重新解读为一种文化演化过程。通过应用迭代学习理论，他们使用LLaMA-2-7B和Mistral-7B模型在多种语言上推导并测试了五个预测。一个关键发现是，在未经筛选的自训练过程中，组合性最初会增加然后减少，这种模式即使在正则化数据下也持续存在，并且只有通过任务基础的筛选才能缓解。
-
交互式人工智能学习环境中的模型坍塌得到分析
研究人员开发了一个新框架来理解结构化交互式学习环境中的模型坍塌。他们的工作解决了生成式人工智能模型在由其他模型生成的合成数据上进行训练所带来的挑战，这种情况是先前研究未涵盖的。该研究使用有向图来形式化这些交互，并确定了影响模型坍塌的特定图拓扑，为模型坍塌的发生提供了充分必要条件。
-
机器学习系统在生产环境中失败是由于基础设施而非模型
一篇近期文章强调了在隔离环境中测试机器学习模型与测试整个生产系统之间的关键区别。文章详细描述了一个场景：一个推荐模型在离线评估中表现良好，但在实际流量下由于特征检索管道中的基础设施崩溃而失败。文章提倡在部署前使用合成数据对包括数据检索、特征计算和服务基础设施在内的整个机器学习系统进行压力测试，以识别和解决离线评估可能遗漏的潜在瓶颈。
-
人工智能模型因合成训练产生的“数据内卷”而退化
模型坍塌，也称为“数据内卷”，描述了人工智能模型性能的下降。当模型反复使用由其他人工智能系统生成的合成数据进行训练，而不是使用新颖的人类创建的数据进行训练时，就会发生这种情况。人工智能生成数据的持续反馈循环会导致准确性下降和产生无意义的输出。
-
模型坍塌威胁人工智能民主化，不成比例地损害低资源社区
一份新的立场文件认为，模型坍塌（即基于先前模型输出来训练的生成模型性能下降）对低资源社区构成了重大威胁。这种现象加剧了数据退化，加剧了偏见，并导致资源利用效率低下，对边缘化群体造成了不成比例的影响。该文件呼吁采取行动来减轻这些影响，并概述了解决方案的初步方向。
-
研究人员从数学上证明 AI 无法自我改进达到超智能
研究人员已从数学上证明，人工智能无法通过递归自我改进来实现超智能。预计 AI 模型不会朝着通用人工智能（AGI）发展，而是会经历“模型崩溃”，即它们逐渐失去对现实的认知。这一数学证明表明，这种自我改进不仅困难，而且根本上是不可能的。