研究人员引入了 Transformer Geometry Observatory (TGO) 框架，旨在探索 Vision Transformers (ViTs) 的表征几何结构。首个版本 TGO-I 专门研究 ViT 表征的光谱几何结构。在 ImageNet-100 上训练的 ViT-Small/16 模型实验表明，随着训练的进行，维度利用率增加，而各向异性降低。与预期相反，信息在表征维度之间重新分配，而不是集中在少数几个主导方向上，其中 CLS token 的表征显示出最高有效维度。 AI
影响 为理解 Vision Transformers 的内部工作机制提供了新见解，可能指导未来的模型开发和优化。
排序理由 该集群包含一篇学术论文，详细介绍了一个用于理解 AI 模型的新框架和实验分析。
在 Hugging Face Daily Papers 阅读 →
- arXiv
- CLS token
- ImageNet-100
- TGO-I
- Transformer Geometry Observatory
- Vision Transformers
- ViTs
- ViT-Small/16
AI 生成摘要 · Google Gemini · 来自 3 个来源。 我们如何撰写摘要 →
