研究人员证明了柏拉图式表征假设,该假设认为在不同模态上训练的 AI 模型会随着规模的扩大而收敛到相似的世界表征。他们的工作引入了联合嵌入预测架构(JEPAs),这是一种比传统的下一个词预测更有效地实现这种对齐的方法。研究表明,当使用“良好视图”(单个场景的对齐观测)进行训练时,JEPAs 可以学习到相同(相差一个旋转)的表征,而使用对齐性较低的数据进行下一个词预测则需要显著更大的规模。这一发现表明,训练数据视图的质量,而不仅仅是规模,是开发鲁棒的跨模态表征的关键。 AI
影响 提出了一条更有效的 AI 模型跨模态对齐路径,可能降低训练成本并提高性能。
排序理由 学术论文,通过实验验证提出了新的假设和定理。[lever_c_demoted from research: ic=1 ai=1.0]
在 Hugging Face Daily Papers 阅读 →
- COCO
- DINOv2
- Hugging Face
- ImageNet-100
- JEPAs
- Llama 3-70B
- next-token prediction
- Platonic Representation Hypothesis
- Qwen2.5-72B
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →