实体
ViT-S/8
ViT-S/8
PulseAugur coverage of ViT-S/8 — every cluster mentioning ViT-S/8 across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的LocaLeJEPA框架通过几何先验改进了自监督学习
研究人员推出了LocaLeJEPA,一个用于自监督学习的新框架,解决了联合嵌入预测架构(JEPA)中的表示坍塌问题。与先前依赖欧几里得几何的方法不同,LocaLeJEPA通过使用流形理论重新构建JEPA的熵最大化特性来整合特定领域的几何先验。附带的LocaLeReg正则化器实现了稳定的实现,并且在ImageNet-1K上的实验表明,LocaLeJEPA在各种骨干模型和下游任务上的表现优于其前身LeJEPA。
-
预训练和蒸馏在细胞分类中优于架构选择
一篇新发表在arXiv上的研究调查了不同深度学习架构在无标签单细胞分类中的有效性。研究发现,预训练和微调策略比架构选择(如CNN与Vision Transformers (ViTs))更关键。具体来说,预训练模型即使参数更少,也显著优于从头开始训练的模型。研究还强调,知识蒸馏可以为实际部署带来更高效、性能更好的紧凑型模型。