研究人员正式证明了柏拉图式表征假设 (PRH),该假设表明,在不同数据模态上训练的 AI 模型在规模扩大时会收敛到相同的世界表征。该研究引入了联合嵌入预测架构 (JEPAs) 作为实现这一目标的方法,证明了在各种模态上单独训练的 JEPAs 可以学习到相同的表征(在旋转变换下),前提是它们的正样本对是同一场景的观察结果。研究还强调,在语言模型中常用的下一个词预测,是获得这些柏拉图式表征的低效途径,需要显著更多的数据才能与视觉编码器实现可比的对齐。 AI
影响 证明了可以更有效地实现对齐的表征,可能减少多模态 AI 的训练数据和计算量。
排序理由 学术论文,提出了一种新的 AI 表征学习定理和方法。[lever_c_demoted from research: ic=1 ai=1.0]
- COCO
- DINOv2
- ImageNet-100
- JEPAs
- Platonic Representation Hypothesis
- Platonic Representation Theorem
- Randall Balestriero
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →