ViT-B/16
PulseAugur coverage of ViT-B/16 — every cluster mentioning ViT-B/16 across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
新的SLORR框架以最小的开销增强了神经网络的可压缩性
研究人员推出了一种新颖的SLORR框架，旨在提高神经网络的可压缩性而不牺牲准确性。该方法提供了一种简单、无状态且保留架构的训练中低秩正则化方法。SLORR通过使用GPU友好的近似方法进行正则化传递来实现这一点，在ImageNet-1K等任务上展示了不到8%的训练开销，在大语言模型预训练中开销甚至不到1%。
-
新的ELO算法增强了学习型优化器在长时域任务上的性能
研究人员开发了一种新的元训练算法，称为高效长时域（ELO）学习，以解决当前学习型优化器（LOs）的局限性。ELO通过将计算重新分配到更长的失败模式，并提供解耦的渐进式专家监督来稳定学习信号，从而有效地将元训练扩展到长时域的内部问题。这种方法提高了LOs在语言建模和图像分类等下游任务上的性能和分布外泛化能力，ELO训练的优化器持续优于AdamW，并与Muon竞争。
-
新的自监督学习方法增强了对称数据的表示
研究人员推出了一种名为 Mirror-Fusion-Augmented Self-Supervised Learning (MFASSL) 的框架，旨在改进表示学习，尤其适用于具有双边对称性的数据。与强制执行严格翻转不变性的标准方法不同，MFASSL 通过创建镜像配对视图并使用 Mirror-Fusion Attention 模块来引入软反射先验。这种方法允许镜像区域之间进行自适应交互，同时保留非对称信息。在 CheXpert 和 C…
-
新的 REDI 方法将 Vision Transformer 的 Token 数量减少 46.8%，同时提高了准确性
研究人员开发了一种名为 REDI（Relevance for DINOv3 Token Reduction）的新方法，通过减少 Patch Token 的数量来提高 Vision Transformer 的效率。REDI 将 DINOv3 Patch 表示量化为视觉词汇表，并使用源自 TF-IDF 的类条件语料库分数来对重要 Patch 进行排序和选择。当应用于 DINOv3 ViT-B/16 主干时，这种方法实现了 46.8% 的序…
-
Transformer 与 CNN：结直肠组织学分类基准测试
一项新近发表在 arXiv 上的研究比较了卷积神经网络 (CNN)、基于 Transformer 的模型以及混合架构在结直肠组织学图像分类中的性能。该研究使用 Kather 数据集评估了十二种不同的模型，发现所有模型都达到了高准确率，其中基于 Transformer 的架构通常表现出最强的结果。虽然像 EVA-02 和 ViT-B/16 这样的基于 Transformer 的模型表现最佳，但像 ResNet34 和 ConvNeXt-…
-
新研究揭示图像分类器依赖相位进行身份识别
一篇新研究论文探讨了相位在图像分类器神经网络表征中的作用，并将其与Oppenheim-Lim测试进行了类比，该测试证明了仅凭傅里叶相位即可重建自然图像。研究发现，PRISM2D、GFNet和ViT-B/16等模型在身份识别方面严重依赖相位信息，而幅度信息在读取时作用较小。虽然ResNet-50最初似乎有所不同，但进一步分析显示，根据架构的整流和读取几何形状，在不同基数下会暴露一个潜在的符号编码。
-
AI模型在皮肤癌分类中表现出泛化差距
一篇新研究论文探讨了皮肤肿瘤镜图像的级联分类，比较了ViT-B/16、Swin-S、ConvNeXt-S和EfficientNetV2-S等各种深度学习架构。研究发现，虽然模型在内部表现良好，但在应用于独立的临床数据集时存在显著的泛化差距，导致性能下降和校准问题。提出的级联方法具有可调的分类阈值，提供了更好的灵敏度控制，并符合临床鉴别诊断逻辑，尽管在部署前进行外部验证和重新校准至关重要。
-
随机矩阵理论赋能高效深度神经网络剪枝
研究人员开发了一种新颖的深度神经网络剪枝方法，该方法利用了随机矩阵理论的原理，特别是 Marchenko-Pastur 分布。该方法旨在即使在剪枝后进行最小的微调也能保持准确性，侧重于高效校准而非广泛的重新优化。该技术为准确性保持提供了理论保证，并为剪枝决策提供了数据路径证书。在 ImageNet-1k 上使用 ViT-B/16 和 ConvNeXtV2-Base 等模型进行的实验表明，在保持高准确性的同时，MAC 显著减少且速度加快。
-
新的ELUDe方法在不损失性能的情况下增强了AI的可解释性
研究人员开发了一种名为ELUDe的新方法，可以在不牺牲性能的情况下提高深度神经网络的可解释性。该技术将编码多个概念的多义神经元解耦为不同的、可理解的特征。ELUDe通过重组网络内的信息流来实现这一点，确保模型的预测准确性保持不变。
-
残差连接被发现损害生成式AI学习
研究人员发现，深度学习中常见的架构元素残差连接会阻碍生成式表征学习。通过引入一个加权因子来减弱这些连接中恒等快捷方式的影响，他们在掩码自编码器和扩散模型等框架中显著改善了特征学习。这一修改在ImageNet-1K等基准测试中带来了准确率的大幅提升，并增强了生成图像的质量。
-
预训练目标影响低数据图像分类
一项新的arXiv研究调查了在极低数据细粒度分类任务中，不同预训练目标对视觉编码器性能的影响。研究人员使用了一个包含祖母绿内含物图像的自定义数据集，比较了四种冻结的ViT-B/16编码器，这些编码器分别使用监督分类、对比学习（SigLIP2）、掩码重构（MAE）和自蒸馏（DINOv3）进行训练。研究结果表明，监督学习和对比学习方法在线性可分性方面表现最佳，而MAE在非线性探测方面表现更好。DINOv3在此特定领域表现不佳。
-
博弈论框架重塑反向归因方法以实现AI模型可解释性
研究人员开发了一个新颖的博弈论框架，用于统一和比较用于解释AI模型预测的各种反向归因方法。该方法将归因重塑为一场双人博弈，允许将诸如局部性和鲁棒性等期望的解释属性整合为博弈论概念。该框架的一个适应性应用在ViT-B/16模型上，在局部性指标上表现优于现有的特定于Transformer的反向方法。
-
DINOv3在更高分辨率下提高了胸部X光片分类性能
一项发表在arXiv上的新研究调查了DINOv3（一种自监督学习模型）在胸部X光片分类中的有效性。研究人员发现，虽然DINOv3在较低分辨率下未能持续优于其前代DINOv2，但在512x512像素下，尤其是在与ConvNeXt-B骨干网络结合使用时，DINOv3表现出显著的改进。这些改进在检测小型或依赖边界的异常方面最为明显，尽管对较大结构的性能基本保持不变。研究还指出，将分辨率提高到1024x1024像素很少能带来进一步的好处，并且…
-
视觉 Transformer 学会反映灵长类视觉皮层的空间层级
研究人员调查了视觉 Transformer (ViTs) 在预训练期间如何在没有明确空间监督的情况下编码空间信息。通过探测 ViT-B/16 模型，他们发现边界结构可以在第 5-6 层解码，而需要更多全局线索的深度信息则在之后两到三层才可解码。ViT 中这种学习到的空间层级反映了在灵长类视觉皮层中观察到的进程。
-
新理论揭示监督学习中固有的几何盲点
研究人员发现监督学习中存在一个根本性的几何局限性，称为“几何盲点”。这一理论发现表明，标准的监督学习目标固有地保留了对标签相关方向的敏感性，即使这些方向与测试无关。这个盲点统一了几个已观察到的问题，包括非鲁棒特征、纹理偏差、损坏脆弱性和鲁棒性-准确性权衡。引入了一个新的诊断指标“轨迹偏差指数”（TDI）来衡量这种现象，并且提出的“PMH”方法在缓解这种现象方面显示出潜力。
-
AI模型在脑肿瘤分类和分割方面取得高精度
研究人员开发了两个独立的深度学习框架，用于使用MRI扫描进行脑肿瘤分析。一个框架利用视觉Transformer（ViT-B/16）进行自动四类肿瘤分类，准确率达到99.29%，并提供关键区域的可解释热图。第二种方法UniME通过采用两阶段异构架构来解决MRI模态缺失的脑肿瘤分割问题，该架构首先建立统一表示，然后结合特定模态的编码器进行精确分割。