PulseAugur
中
实时 19:11:27
English(EN) The two clocks and the innovation window: When and how generative models learn rules

生成模型在两个不同的训练时间尺度上学习规则

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员在生成模型训练中识别出两个不同的时间尺度：生成变得规则有效的点（$\tau_{\mathrm{rule}}$）和模型开始重现训练样本的点（$\tau_{\mathrm{mem}}$）。两者之间的时间间隔被称为“创新窗口”，它随着数据集的增大而扩大，随着规则复杂度的增加而缩小。这种现象在扩散模型和自回归模型中都得到了观察，它解释了这些模型何时以及如何展现出真正的创新。 AI

影响 为理解生成模型的创新及其潜在局限性提供了理论框架。

排序理由 该集群包含一篇详细介绍生成模型研究结果的新学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

生成模型在两个不同的训练时间尺度上学习规则

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Bingbin Liu ·

    The two clocks and the innovation window: When and how generative models learn rules

    Generative models trained on finite data face a fundamental tension: their score-matching or next-token objective converges to the empirical training distribution rather than the population distribution we seek to learn. Using rule-valid synthetic tasks, we trace this tension acr…

相关实体

相关话题