研究人员开发了一种新颖的方法来量化语言模型的记忆容量，区分了无意记忆和泛化。他们的发现表明，GPT 类模型拥有大约每参数 3.6 比特的容量。研究观察到，模型会一直记忆数据直到其容量被填满，之后开始泛化，记忆量随之下降。这项涉及数百个 Transformer 模型的研究，建立了将模型容量和数据大小与成员推断联系起来的标度律。 AI
影响 为理解模型容量和潜在的数据隐私影响提供了一个新指标。
排序理由 该集群包含一篇学术论文，详细介绍了一种测量语言模型容量的新方法，并提出了关于 GPT 类模型的研究结果。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
