ViT-S/16
PulseAugur coverage of ViT-S/16 — every cluster mentioning ViT-S/16 across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的“视界损失”方法通过交叉熵提高了分类器精度
一篇新研究论文介绍了一种名为“视界损失”（horizon loss）的新方法，作为训练分类器的交叉熵替代方案，特别是在强化学习和大型语言模型的背景下。该方法旨在通过考虑学习更新的长期影响，而非仅仅是即时收益，来提高准确性。在MNIST和ImageNet数据集上使用ResNet和ViT等各种架构进行的实验表明，与标准的交叉熵相比，其Top-1准确率有所提高，并且在存在噪声标签的情况下，收益会增加。
-
新框架用模糊规则解释医学影像AI模型
研究人员开发了一个新框架来解释用于医学影像的基础模型的潜在特征。这个基于原型的模糊规则系统对特征进行聚类，生成人类可读的IF-THEN规则，从而提供模型如何组织临床信息的透明视图。该方法应用于在ImageNet-1K和GastroNet-5M上预训练的ViT-S/16模型，在未经微调的情况下实现了与黑盒分类器相当的准确率，并且还可以分析合成医学图像以了解生成器行为。
-
新的机器遗忘方法Unmerge和ReGUn提高了效率和数据隐私
研究人员开发了两种新的机器遗忘方法，该过程可以在不完全重新训练的情况下从训练模型中移除特定数据的影响。第一种方法Unmerge将遗忘重新构建为任务算术，通过减去学习到的遗忘分量来恢复原始任务向量。该技术在各种模型和数据集上都显示出效率和有效性，提高了性能指标并降低了遗忘的难度。第二种方法是参考引导遗忘（ReGUn），它侧重于分布不可区分性，利用保留的样本引导模型在遗忘数据上的预测行为接近真正未见过的数据。
-
新的WIPT方法通过查询特定适应性增强跨域小样本学习
研究人员开发了一种名为“实例内原型变换器”（WIPT）的新方法，用于跨域小样本学习。该技术使用极少量的标记示例来适应新视觉域的分类器，而无需在测试时更新参数。WIPT通过联合转换未标记的查询数据和标记的支持嵌入来创建查询特定的类别均值来实现这一点。实验表明，WIPT可以在CUB和EuroSAT等特定数据集上提高性能，尤其是在低样本场景下，同时还提供流式兼容性和减少内存使用等优势。
-
鸟类识别模型：边缘设备上的分辨率与架构权衡
一项新研究调查了鸟类物种识别模型的最佳输入分辨率，特别是对于像NVIDIA Jetson Orin Nano这样的边缘设备。研究人员发现，模型架构对准确性的影响比输入分辨率更大，像DINOv2-L这样的模型在更大的分辨率下能实现更高的准确性。研究还强调了在部署引擎上测量准确性的重要性，因为半精度计算会降低某些架构（如ViT-S/16）的性能，而CNN则基本不受影响。该研究探索了14种输入分辨率和六种架构，测量了延迟和准确性的权衡，为诸…
-
预训练和蒸馏在细胞分类中优于架构选择
一篇新发表在arXiv上的研究调查了不同深度学习架构在无标签单细胞分类中的有效性。研究发现，预训练和微调策略比架构选择（如CNN与Vision Transformers (ViTs)）更关键。具体来说，预训练模型即使参数更少，也显著优于从头开始训练的模型。研究还强调，知识蒸馏可以为实际部署带来更高效、性能更好的紧凑型模型。
-
交叉验证改进了医疗影像AI的超参数调优
一篇新的研究论文探讨了深度学习图像分类器的超参数优化（HPO），特别是在医疗影像领域，因为该领域数据集通常较小。研究比较了三种HPO协议：固定留出法、重排留出法和5折交叉验证。结果表明，交叉验证提供了更可靠的测试性能估计，尤其是在数据有限的情况下，尽管它需要更多的计算资源。对于像Tiny ImageNet这样的大型数据集，不同协议之间的差异可以忽略不计。
-
SpecDrop 引入用于专业化 AI 模型的无参数路由
研究人员推出 SpecDrop，一种新颖的、用于专家混合（MoE）模型的无参数路由方法，该方法利用类别标签进行专业化。与依赖学习型路由器的传统 MoE 方法不同，SpecDrop 使用一种固定方案，其中每个分支为其类别分配一个概率，并为其他类别分配少量泄露。该方法在 CIFAR-100 和 ImageNet-1K 等视觉任务上取得了优异的成绩，在没有路由的情况下性能优于参数匹配的基线。研究表明，训练信号的粒度和它们与目标类别的对齐是路…
-
新的SEAMS方法识别出对AI模型行为至关重要的图像区域
研究人员开发了SEAMS，一种新颖的显著性方法，旨在识别对保留模型行为至关重要的图像区域。该方法使用保留目标来优化软掩码，直接搜索能够维持特定模型输出（如类别概率或嵌入）的紧凑掩码。SEAMS无需辅助数据集或特定于架构的机制即可运行，展示了其在ViT-S/16和ConvNeXt等不同模型上的灵活性。该方法生成稳定、可解释且具有竞争力的显著图，表明视觉解释可能依赖于架构。
-
AI模型为边缘牲畜监测进行蒸馏，减少VRAM需求
研究人员开发了一种轻量级蒸馏方法，用于SAM 3和DINOv3等大型基础模型，使其能够在边缘设备上部署用于牲畜监测。蒸馏后的管道显著减少了参数数量和VRAM使用量，能够适应NVIDIA Jetson Orin NX的配置。这一进展支持了精准畜牧业的设备端视觉分析，能够对动物健康和行为进行回顾性分析。