CIFAR-10
PulseAugur coverage of CIFAR-10 — every cluster mentioning CIFAR-10 across labs, papers, and developer communities, ranked by signal.
- used by federated learning 70%
- instance of Fashion-MNIST 70%
- instance of Imagenet 1k 70%
- instance of Tiny-ImageNet 70%
- used by residual neural network 70%
- used by Celeba 70%
- instance of CNNS 70%
- competes with AdamW 70%
- instance of Sulawesi 70%
- used by Imagenette 70%
- instance of CIFAR-100 60%
- instance of ImageNet ILSVRC-2012 60%
12 天有情绪数据
-
NeuroPlastic 优化器通过受生物启发的塑性增强深度学习
研究人员开发了 NeuroPlastic，这是一种用于深度学习的新型优化算法，其灵感来源于生物突触可塑性。该方法通过结合梯度、活动和记忆统计的多信号调制机制来增强标准的基于梯度的更新。NeuroPlastic 在图像分类基准测试中展示了持续的改进，尤其是在数据量减少的情况下和在 Fashion-MNIST 数据集上。该方法在迁移学习实验中被证明是稳定且具有竞争力的，表明其作为梯度驱动优化的有价值的扩展的潜力，尤其是在嘈杂或数据受限的环境中。
-
New UCB strategies enhance adaptive deep neural networks for edge computing
Researchers have introduced four new Upper Confidence Bound (UCB) strategies to Adaptive Deep Neural Networks (ADNNs) for edge computing environments. These strategies, including UCB-Bayes, UCB-Tuned, and UCB-V, aim to …
-
QB-LIF neuron boosts SNN efficiency with learnable scale and burst spiking
Researchers have introduced QB-LIF, a novel neuron model for spiking neural networks (SNNs) that addresses the information throughput limitations of binary spike coding. QB-LIF reformulates burst spiking using a learnab…
-
Vision SmolMamba uses spike-guided pruning for energy-efficient vision models
Researchers have introduced Vision SmolMamba, a novel energy-efficient spiking state-space architecture designed for visual modeling. This architecture integrates spike-driven dynamics with linear-time selective recurre…
-
研究人员分析Adam的权衡并用混合切换策略增强SignSGD
两篇新研究论文探讨了机器学习优化算法的进展。一篇论文对Adam优化器进行了理论分析，详细说明了其在非平稳目标下的性能，并确定了噪声和漂移之间的权衡。第二篇论文通过引入小批量收敛性分析和混合切换策略（包括抖动和向SGD的过渡）来增强SignSGD算法，在图像分类任务上实现了具有竞争力的准确性。
-
新研究推动联邦学习在隐私和异构性方面的进展
研究人员正在开发新的方法来改进联邦学习，这是一种允许模型在不损害隐私的情况下对去中心化数据进行训练的技术。几篇论文介绍了处理数据异构性的新算法，例如用于随机森林的FedForest和用于物联网系统中客户端选择的VARS-FL。其他工作侧重于通过共识嵌入进行隐私保护推理以及用于联邦图神经网络的鲁棒方法。此外，正在探索新的理论框架来限制泛化误差并激励联邦环境中的客户端贡献。
-
新的“更嘈杂”NCE方法改进了AI模型的密度比估计
研究人员开发了一种名为“更嘈杂”NCE的改进噪声对比估计（NCE）技术，该技术解决了复杂数据集密度比估计中的局限性。通过人为增加噪声幅度，该方法使NCE梯度更接近最大似然估计（MLE），从而实现更快的收敛和更好的性能。该方法在图像建模、异常检测和离线优化方面取得了成功，在ImageNet64x64等数据集上取得了最先进的成果，并显著减少了训练迭代次数。
-
研究人员开发POUR，一种可证明最优的AI表示遗忘方法
研究人员开发了一种名为POUR（Provably Optimal Unlearning of Representations）的新方法，可以在不完全重新训练的情况下，有效地从机器学习模型中移除特定概念或训练数据。该方法侧重于在表示层面进行遗忘，确保改变的是内部模型表示，而不仅仅是最终的分类器。POUR利用几何投影和蒸馏方案，在保持保留知识和类别分离的保真度的同时，实现最优遗忘，并在基准数据集上优于现有方法。
-
CNN优化研究在CIFAR-10基准测试中达到89.23%的准确率
研究人员对用于CIFAR-10图像分类任务的卷积神经网络（CNN）进行了优化实证研究。该研究测试了17种不同的训练时长、学习率调度、dropout、池化、网络深度和滤波器排列的修改。虽然延长训练时间提高了准确率，但一些结构性改变降低了性能。最佳个体配置的集成在完整数据集上达到了高达89.23%的准确率，证明了仔细的经验选择而非仅仅增加模型复杂度的价值。
-
联邦学习进展在隐私、效用和公平性之间取得平衡
研究人员正在探索增强联邦学习（FL）隐私的高级技术，FL是一种在去中心化数据上进行模型训练的方法。一项研究比较了在瑞典医疗保健数据上用于心血管疾病风险建模的差分隐私（DP）和同态加密（HE），发现HE与集中式方法相当，但计算开销更高，而DP在某些模型上表现出更大的性能下降。另一种方法FedPF引入了一种差分隐私的公平FL算法，通过将公平性和效用视为竞争目标来平衡它们，在具有竞争力的准确性和低计算占用的情况下显著减少了歧视。第三篇论文将…
-
Learn&Drop方法通过丢弃层将CNN训练时间减半
研究人员开发了一种名为Learn&Drop的新颖方法来加速卷积神经网络（CNN）的训练。该技术在训练过程中动态评估层参数变化，并通过丢弃未积极学习的层来缩小网络规模。与专注于推理压缩或反向传播优化的现有方法不同，Learn&Drop的目标是减少训练过程中的前向传播操作。在MNIST、CIFAR-10和Imagenette数据集上的VGG和ResNet架构上进行的实验表明，该方法可以在不显著损失准确性的情况下将训练时间缩短一半以上。
-
RDCNet通过新颖的扩张卷积实现最先进的图像分类
研究人员推出RDCNet，这是一种旨在提高图像分类准确性的新颖架构。该网络集成了多分支随机扩张卷积模块，用于捕获细粒度特征并增强噪声鲁棒性。此外，它还包含一个细粒度特征增强模块，用于连接全局和局部表示，以及一个上下文激励模块，用于强调相关特征。在多个基准数据集上的实验表明，RDCNet取得了最先进的成果。
-
Laplace-Bridged Smoothing offers faster, certified AI robustness on edge devices
Researchers have developed Laplace-Bridged Smoothing (LBS), a new method to improve the efficiency and effectiveness of certified robustness for machine learning models. LBS analytically reformulates Randomized Smoothin…
-
New research tackles Fast Adversarial Training with dynamic guidance and a fair benchmark
Researchers have developed a new strategy called Distribution-aware Dynamic Guidance (DDG) to improve the robustness of AI models trained using Fast Adversarial Training (FAT). DDG addresses issues like catastrophic ove…
-
New AI methods enhance out-of-distribution detection and representation learning
Researchers have developed UFCOD, a novel framework for few-shot cross-domain out-of-distribution (OOD) detection. UFCOD leverages information-geometric analysis of diffusion trajectories, extracting 'Path Energy' and '…
-
联邦学习使用谱熵进行无数据客户端贡献估计
研究人员开发了一种新颖的方法，可以在不访问客户端数据的情况下估计联邦学习中的客户端贡献。该方法利用最终层更新的谱熵来衡量每个客户端贡献的信息的多样性。引入了两种实用方案 SpectralFed 和 SpectralFuse，它们在各种基准和非独立同分布条件下与客户端准确性显示出很强的相关性。
-
LTBs-KAN offers faster, more efficient Kolmogorov-Arnold Networks
Researchers have introduced LTBs-KAN, a novel variant of Kolmogorov-Arnold Networks (KANs) designed to overcome the significant speed limitations of their predecessors. This new architecture achieves linear time complex…
-
新的 GEM 激活函数提供了比 ReLU 更平滑、更具理性的替代方案
研究人员推出了一种名为 Geometric Monomial (GEM) 的新型激活函数族，专为深度神经网络设计。这些函数采用纯粹的有理数算术，并提供 $C^{2N}$-平滑性，旨在克服标准 ReLU 的局限性。实验表明，GEM 变体在 CIFAR-10、CIFAR-100、MNIST、GPT-2 和 BERT-small 等各种基准测试中，其性能可媲美甚至超越 GELU 等成熟函数。
-
OpenAI 推进一致性模型，实现更快、更高质量的 AI 生成
OpenAI 推出了 sCM，一种新的连续时间一致性模型方法，显著加快了生成式 AI 的采样速度。该方法简化和稳定了训练，使模型能够仅用两步生成与扩散模型相当的高质量样本，速度提升了约 50 倍。研究表明，sCMs 可以有效地与教师扩散模型进行扩展，并在 ImageNet 等基准测试中以更低的计算成本取得最先进的成果。
-
OpenAI 的 Sparse Transformer 在序列预测方面创下新纪录
OpenAI 开发了一种名为 Sparse Transformer 的新型深度神经网络，它显著提升了生成建模能力。该模型采用了一种重新设计的注意力机制，能够处理比以往长 30 倍的序列，使其能够捕捉图像、文本和声音等数据中复杂、长距离的依赖关系。通过采用稀疏注意力模式和优化内存使用，Sparse Transformer 可以处理包含数万个元素和数百层的序列，并在各个领域取得了最先进的性能。