一项新的研究论文探讨了柏拉图表示假说(PRH),该假说认为更大的AI模型会学习到相似的世界表示。该研究使用来自Legacy Survey和Hyper Suprime-Cam的嵌入,发现对齐技术提高了这些表示在不同数据集上的线性可恢复性。然而,这种改进并未转化为嵌入的原生余弦几何的收敛,这表明虽然模型可以被对齐以线性共享信息,但随着模型规模的扩大,它们不一定会收敛到共享的底层度量几何。 AI
影响 表明虽然更大的模型可以被对齐以线性共享信息,但它们可能不会收敛到共享的底层度量几何。
排序理由 在arXiv上发表的研究论文,讨论AI模型表示和缩放。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →