Hector Zenil 的一篇最新论文认为,大型语言模型(LLM)在尝试自学习时,本质上容易发生模型坍塌。该论文提出,LLM 作为统计模型,如果仅依靠自身的输出来进行训练,将趋向于统计奇点,而不是实现通用人工智能。必须持续使用外部、人类生成的数据进行训练,才能防止这种退化并保持模型性能。 AI
影响 强调了外部数据对于防止LLM退化和保持性能的关键需求。
排序理由 学术论文,详细阐述了LLM自训练的理论风险。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →