PulseAugur
中
实时 15:05:16

新框架探究 Vision Transformer 的几何结构和表征动态

作者 PulseAugur 编辑部 · [3 个来源] ·

研究人员引入了 Transformer Geometry Observatory (TGO) 框架，旨在探索 Vision Transformers (ViTs) 的表征几何结构。首个版本 TGO-I 专门研究 ViT 表征的光谱几何结构。在 ImageNet-100 上训练的 ViT-Small/16 模型实验表明，随着训练的进行，维度利用率增加，而各向异性降低。与预期相反，信息在表征维度之间重新分配，而不是集中在少数几个主导方向上，其中 CLS token 的表征显示出最高有效维度。 AI

影响 为理解 Vision Transformers 的内部工作机制提供了新见解，可能指导未来的模型开发和优化。

排序理由 该集群包含一篇学术论文，详细介绍了一个用于理解 AI 模型的新框架和实验分析。

在 Hugging Face Daily Papers 阅读 →

AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →

新框架探究 Vision Transformer 的几何结构和表征动态

报道来源 [3]

  1. arXiv cs.LG TIER_1 English(EN) · Kaustubh Kapil, Kishor P. Upla ·

    Transformer Geometry Observatory TGO-I：Spectral Geometry Observatory

    arXiv:2606.19249v1 Announce Type: cross Abstract: Despite the widespread adoption of Vision Transformers (ViTs) and their success across numerous computer vision applications, the fundamental understanding of their dimensional and representational geometry remains relatively unde…

  2. Hugging Face Daily Papers TIER_1 English(EN) ·

    Transformer Geometry Observatory TGO-I: Spectral Geometry Observatory

    Despite the widespread adoption of Vision Transformers (ViTs) and their success across numerous computer vision applications, the fundamental understanding of their dimensional and representational geometry remains relatively underexplored. To address this gap, we introduce Trans…

  3. arXiv cs.CV TIER_1 English(EN) · Kishor P. Upla ·

    Transformer Geometry Observatory TGO-I：Spectral Geometry Observatory

    Despite the widespread adoption of Vision Transformers (ViTs) and their success across numerous computer vision applications, the fundamental understanding of their dimensional and representational geometry remains relatively underexplored. To address this gap, we introduce Trans…

相关实体

相关话题