CLS token
PulseAugur coverage of CLS token — every cluster mentioning CLS token across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
基础模型块标记增强肾脏肿瘤和囊肿检测
研究人员开发了DINOv3-MIL，一种使用基础视觉模型检测肾脏肿瘤和囊肿的新方法。该方法利用DINOv3 ViT-H/16特征的块标记，并比较了三种聚合策略：CLS标记线性探测、门控注意力多示例学习（MIL）和原型头。门控注意力MIL方法表现出卓越的性能，在KiTS23数据集的肿瘤和囊肿检测中均取得了最高的AUROC，同时通过将注意力集中在标注的病灶上，还提高了可解释性。
-
DuoAD 框架利用 ViT [CLS] token 增强无训练异常检测
研究人员开发了 DuoAD，一个新颖的无训练少样本异常检测框架，它能有效利用 Vision Transformers (ViTs) 的全局上下文信息。该方法利用了 ViT [CLS] token 的双重特性，该 token 提供了异常不变的语义表示，并通过其注意力图突出异常区域。DuoAD 包含一个自动增强选择策略和一个注意力引导的特征重加权机制，无需手动调整或训练即可实现稳定的异常评分和精确的定位。
-
新框架探究 Vision Transformer 的几何结构和表征动态
研究人员引入了 Transformer Geometry Observatory (TGO) 框架，旨在探索 Vision Transformers (ViTs) 的表征几何结构。首个版本 TGO-I 专门研究 ViT 表征的光谱几何结构。在 ImageNet-100 上训练的 ViT-Small/16 模型实验表明，随着训练的进行，维度利用率增加，而各向异性降低。与预期相反，信息在表征维度之间重新分配，而不是集中在少数几个主导方向上…