一篇新论文质疑了使用线性探针来确定预训练视觉模型是否线性编码生成因素的常用方法。研究表明,模型可以通过真正的线性表征或潜在变量位于更大的弯曲流形内的核方法获得高探针准确率。作者提出了三种诊断测试来区分这些情况,发现虽然预训练的视觉 Transformer 模型显示出超越随机的一些结构,但它们未能达到真正的线性世界模型。 AI
影响 挑战了理解视觉模型内部表征的现有方法,可能影响模型能力评估的方式。
排序理由 学术论文发表在 arXiv 上,详细介绍了评估 AI 模型的新方法论。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →