CIFAR-100
PulseAugur coverage of CIFAR-100 — every cluster mentioning CIFAR-100 across labs, papers, and developer communities, ranked by signal.
- instance of Tiny-ImageNet 70%
- instance of Imagenet 1k 70%
- used by Deep Neural Networks 70%
- used by residual neural network 70%
- instance of ResNet-50 70%
- instance of ImageNet-100 70%
- used by CNNS 70%
- used by federated learning 60%
- instance of The Street View House Numbers Dataset 50%
- instance of ResNet-18 50%
- used by ResNet-34 50%
17 天有情绪数据
-
Vision SmolMamba 使用尖峰引导式剪枝实现能效型视觉模型
研究人员推出 Vision SmolMamba，这是一种新颖的、能效型的脉冲状态空间架构，专为视觉建模而设计。该架构将脉冲驱动动力学与线性时间选择性递归相结合，利用脉冲引导式时空令牌修剪器 (SST-TP) 根据脉冲激活和延迟来估计令牌重要性。通过逐步移除冗余令牌，Vision SmolMamba 保留了关键的时空信息，实现了高效扩展和改进的精度-效率权衡。在各种基准测试上的实验表明，与之前的脉冲 Transformer 和 Mamb…
-
研究人员分析Adam的权衡并用混合切换策略增强SignSGD
两篇新研究论文探讨了机器学习优化算法的进展。一篇论文对Adam优化器进行了理论分析，详细说明了其在非平稳目标下的性能，并确定了噪声和漂移之间的权衡。第二篇论文通过引入小批量收敛性分析和混合切换策略（包括抖动和向SGD的过渡）来增强SignSGD算法，在图像分类任务上实现了具有竞争力的准确性。
-
新研究推动联邦学习在隐私和异构性方面的进展
研究人员正在开发新的方法来改进联邦学习，这是一种允许模型在不损害隐私的情况下对去中心化数据进行训练的技术。几篇论文介绍了处理数据异构性的新算法，例如用于随机森林的FedForest和用于物联网系统中客户端选择的VARS-FL。其他工作侧重于通过共识嵌入进行隐私保护推理以及用于联邦图神经网络的鲁棒方法。此外，正在探索新的理论框架来限制泛化误差并激励联邦环境中的客户端贡献。
-
研究人员开发POUR，一种可证明最优的AI表示遗忘方法
研究人员开发了一种名为POUR（Provably Optimal Unlearning of Representations）的新方法，可以在不完全重新训练的情况下，有效地从机器学习模型中移除特定概念或训练数据。该方法侧重于在表示层面进行遗忘，确保改变的是内部模型表示，而不仅仅是最终的分类器。POUR利用几何投影和蒸馏方案，在保持保留知识和类别分离的保真度的同时，实现最优遗忘，并在基准数据集上优于现有方法。
-
VDLF-Net 通过变分特征融合推进少样本视觉学习
研究人员开发了 VDLF-Net，这是一种用于自适应和少样本视觉学习的新型架构。该模型集成了变分自编码器（VAE）和一个多尺度卷积神经网络（CNN）骨干。VAE 的潜在向量和 softmax-gate 机制增强了 CNN 的特征图，从而提高了监督分类和少样本预测任务的性能。消融研究表明，精细分辨率尺度对 VDLF-Net 的有效性至关重要，在标准基准测试中优于 ResNet-50 Enhanced 和 Prototypical Net…
-
RDCNet通过新颖的扩张卷积实现最先进的图像分类
研究人员推出RDCNet，这是一种旨在提高图像分类准确性的新颖架构。该网络集成了多分支随机扩张卷积模块，用于捕获细粒度特征并增强噪声鲁棒性。此外，它还包含一个细粒度特征增强模块，用于连接全局和局部表示，以及一个上下文激励模块，用于强调相关特征。在多个基准数据集上的实验表明，RDCNet取得了最先进的成果。
-
新研究通过动态指导和公平基准来解决快速对抗性训练问题
研究人员开发了一种名为分布感知动态指导（DDG）的新策略，以提高使用快速对抗性训练（FAT）训练的AI模型的鲁棒性。DDG通过根据样本置信度动态调整扰动幅度和监督信号，来解决灾难性过拟合和在干净输入上性能下降等问题。该方法旨在引导模型形成更一致的决策边界，并防止过度强调错误的训练信号。此外，还引入了一个全面的基准框架，以确保各种快速对抗性训练方法的公平和可复现的评估。
-
新AI方法增强了分布外检测和表示学习
研究人员开发了UFCOD，一个用于少样本跨域分布外（OOD）检测的新框架。UFCOD利用扩散轨迹的信息几何分析，提取“路径能量”和“动力学能量”特征，以识别与模型训练分布的偏差。这种方法允许在单个数据集上训练的单个扩散模型在推理时只需少量标记样本，即可在各种不相关的域上执行OOD检测，展示了显著的样本效率。
-
联邦学习使用谱熵进行无数据客户端贡献估计
研究人员开发了一种新颖的方法，可以在不访问客户端数据的情况下估计联邦学习中的客户端贡献。该方法利用最终层更新的谱熵来衡量每个客户端贡献的信息的多样性。引入了两种实用方案 SpectralFed 和 SpectralFuse，它们在各种基准和非独立同分布条件下与客户端准确性显示出很强的相关性。
-
新研究表明微调机制显著影响持续学习评估
一篇新论文认为，微调机制，特别是可训练参数子空间，是评估持续学习方法的一个关键变量。研究人员发现，像EWC、LwF、SI和GEM等标准持续学习方法的相对性能排名，会根据所选的微调深度而发生显著变化。更深的适应机制与遗忘增加有关，这表明当前的评估协议可能在不同的微调设置下不够稳健。
-
新的 GEM 激活函数提供了比 ReLU 更平滑、更具理性的替代方案
研究人员推出了一种名为 Geometric Monomial (GEM) 的新型激活函数族，专为深度神经网络设计。这些函数采用纯粹的有理数算术，并提供 $C^{2N}$-平滑性，旨在克服标准 ReLU 的局限性。实验表明，GEM 变体在 CIFAR-10、CIFAR-100、MNIST、GPT-2 和 BERT-small 等各种基准测试中，其性能可媲美甚至超越 GELU 等成熟函数。