PulseAugur
中
实时 13:19:39
实体 Transformer Geometry Observatory

Transformer Geometry Observatory

PulseAugur coverage of Transformer Geometry Observatory — every cluster mentioning Transformer Geometry Observatory across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. RESEARCH · CL_97987 ·

    新框架探究 Vision Transformer 的几何结构和表征动态

    研究人员引入了 Transformer Geometry Observatory (TGO) 框架，旨在探索 Vision Transformers (ViTs) 的表征几何结构。首个版本 TGO-I 专门研究 ViT 表征的光谱几何结构。在 ImageNet-100 上训练的 ViT-Small/16 模型实验表明，随着训练的进行，维度利用率增加，而各向异性降低。与预期相反，信息在表征维度之间重新分配，而不是集中在少数几个主导方向上…