PulseAugur
中
实时 12:50:12

新框架TGO-II揭示Vision Transformer表征在训练过程中的演变方式

作者 PulseAugur 编辑部 · [2 个来源] ·

研究人员开发了Transformer Geometry Observatory-II (TGO-II)，一个用于分析监督训练过程中Vision Transformer (ViT)内部表征的几何演变的新框架。使用Centered Kernel Alignment (CKA)和Singular Vector Canonical Correlation Analysis (SVCCA)等方法，TGO-II揭示了随着训练的进行，表征的专业化程度在不同层级上有所增加。该框架还观察到内在维度在稳定之前会增长，表明表征流形有所扩展。与一些假设相反，token交互结构在整个训练过程中保持强劲，这表明表征的复杂性是通过更丰富的变换而非token解耦产生的。 AI

影响 为理解Vision Transformer的内部工作机制提供了新见解，可能指导未来的模型开发和可解释性工作。

排序理由 该条目是一篇研究论文，详细介绍了一个新框架和对AI模型表征的分析。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

新框架TGO-II揭示Vision Transformer表征在训练过程中的演变方式

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Kaustubh Kapil, Kishor P. Upla ·

    Transformer Geometry Observatory TGO-II: Representational Similarity Observatory

    arXiv:2607.02386v1 Announce Type: cross Abstract: While Vision Transformers have achieved remarkable success across computer vision and language applications, the geometric evolution of their internal representations throughout training remains insufficiently understood. Existing…

  2. arXiv cs.LG TIER_1 English(EN) · Kishor P. Upla ·

    Transformer Geometry Observatory TGO-II: Representational Similarity Observatory

    While Vision Transformers have achieved remarkable success across computer vision and language applications, the geometric evolution of their internal representations throughout training remains insufficiently understood. Existing analyses primarily focus on attention mechanisms …

相关实体

相关话题