CIFAR-100
PulseAugur coverage of CIFAR-100 — every cluster mentioning CIFAR-100 across labs, papers, and developer communities, ranked by signal.
- instance of CIFAR10-DVS: An Event-Stream Dataset for Object Classification 90%
- instance of Imagenet 1k 70%
- used by ResNet-50 70%
- used by residual neural network 70%
- instance of ImageNet-100 70%
- used by CNNS 70%
- used by Deep Neural Networks 70%
- used by Cub 200 2011 Caltech Birds Dataset 70%
- used by VGG-11 70%
- competes with Imagenet 1k 60%
- instance of ResNet-34 60%
- instance of ResNet-50 60%
16 天有情绪数据
-
FedEAS策略降低了联邦学习中合成数据生成的成本
研究人员开发了FedEAS,这是一种旨在缓解联邦学习(FL)中标签偏斜的新型策略。该方法通过根据每个客户端的本地标签分布为其分配预算来优化合成数据生成过程,从而确定生成样本的数量和目的地。与传统的全类别平衡方法相比,FedEAS显著降低了相关的计算成本,在生成预算减少高达94.1%的情况下实现了显著的准确性提升。与相同生成预算下的均匀分配策略相比,FedEAS表现出更优越的性能,在CIFAR-10和CIFAR-100等数据集上准确率提…
-
BitLogic框架统一了FPGA原生神经网络的训练
研究人员开发了BitLogic,一个统一的框架,旨在标准化利用布尔逻辑运算而非传统乘加运算的梯度下降型神经网络的训练和评估。该框架允许将单个训练好的检查点部署到GPU、FPGA和ASIC上,解决了当前训练流水线和硬件报告惯例的碎片化问题。通过系统地分析设计空间,BitLogic识别出一种最优配置,在准确性和效率方面均优于以往的方法,在FPGA上实现了比GPU显著更高的吞吐量和更低的能耗。
-
新的审计器验证AI遗忘算法的有效性
研究人员开发了一种新的审计方法来评估机器学习遗忘算法的有效性。该审计器使用成员推理攻击来计算遗忘参数$\varepsilon$的数据相关下界。研究发现,具有正式保证的算法(如模型剪枝和回溯删除)表现良好,而经验方法则显示出较差的遗忘结果。该框架提供了一种实用的方法来经验性地测试和潜在地证伪关于遗忘的声明。
-
新框架xNCD提供可解释的AI类别发现
研究人员开发了一个名为xNCD的新框架,用于可解释的新颖类别发现。与使用不透明的潜在特征空间之前的其他方法不同,该方法在结构化的语义概念空间中运行。通过将视觉特征与多模态模型对齐并使用自标注目标,xNCD通过稳定的概念签名和实例级证据为发现的类别提供内在解释。在CIFAR-10、CIFAR-100和CUB-200数据集上的实验表明,xNCD在提供人类可读的解释的同时,保持了强大的发现性能。
-
新的深度剪枝方法提高了视觉Transformer的效率
研究人员开发了一种名为HetDPT的新方法来改进视觉Transformer(ViTs)的深度剪枝。该方法考虑了不同层之间的异构性,而这是先前深度剪枝技术的局限性。HetDPT避免了维度不匹配的问题,并在ImageNet-1K和CIFAR-100等数据集上实现了显著的加速,同时保持了准确性。当与宽度剪枝结合时,HetDPT+在极端的ViT剪枝方面设定了新的最先进水平,在接近无损准确率的情况下实现了更高的加速比。
-
Fusion框架统一视觉Transformer适配以提高效率
研究人员开发了Fusion,一个旨在通过统一的顺序令牌适配技术来提高视觉Transformer(ViTs)效率的新型框架。该框架以分阶段的方式协调令牌合并、提前退出和令牌修剪,使这些机制能够协同工作而非竞争。Fusion还集成了轻量级路由模块,无需重新训练即可动态调整准确率-延迟权衡。在DeiT-S的ImageNet-1k上的实验表明,Fusion在计算预算方面匹配或超过了最先进的自适应ViT方法,同时显著降低了校准误差和推理能耗。
-
新的C-GCD方法使用虚拟类别改进无标签数据学习 · 跟踪2个来源
研究人员开发了一种新的持续广义类别发现(C-GCD)方法,称为虚拟类别引导的持续广义类别发现。该方法将虚拟类别学习(VCL)应用于从无标签数据中逐步识别新类别,同时保留已知类别的知识。它通过将模糊样本分配给临时的虚拟类别来解决模糊样本的挑战,从而避免了噪声标签并减轻了对熟悉类别的偏见。该方法通过扩展邻域对比学习(ENCL)得到进一步增强,以改进表示学习和类别分离。在CIFAR-100、Tiny ImageNet和ImageNet-10…
-
新的arXiv论文探讨贝叶斯和概率方法用于持续学习 · 跟踪2个来源
两篇新的arXiv论文探讨了持续学习的进展,这是一种允许AI模型顺序学习而不会忘记过去知识的方法。第一篇论文概述了持续学习的贝叶斯方法,讨论了它们与迁移学习和发展心理学等领域的联系。第二篇论文介绍了一个新颖的基于提示的框架,该框架将提示建模为概率分布,以捕获多样化的图像模式并防止提示崩溃,在ImageNet-R和CIFAR-100等基准测试中证明了其有效性。
-
新理论解释预训练如何塑造机器学习模型的微调
研究人员开发了一个理论框架,以解释预训练如何影响机器学习模型微调过程中的归纳偏差。他们对对角线线性网络进行的分析,根据初始化参数和任务统计数据确定了四种不同的微调模式。研究表明,网络早期层中较小的初始化尺度可以增强特征重用和精炼,从而在利用预训练特征子集任务上获得更好的泛化能力。这些发现通过在 CIFAR-100 和 SVHN 数据集上使用 ResNets,以及在模块化算术任务上使用 Transformers 得到了经验验证。
-
轻量级卷积神经网络的准确性和效率基准测试
一项新近发表在arXiv上的研究,为轻量级卷积神经网络(CNNs)提供了一个可复现的基准测试。该研究在CIFAR-10、CIFAR-100和Tiny ImageNet数据集上比较了七种已建立的架构。研究人员在统一的微调协议下,根据准确性、参数数量、存储和计算操作评估了模型。EfficientNetV2-S取得了最高的Top-1准确率,而EfficientNet-B0在性能和效率之间取得了良好的平衡,使用的参数和操作数量显著减少。研究还…
-
新算法实现热力学人工智能模型的可扩展训练
研究人员开发了一种新的基于反向传播的算法,用于在Ising机硬件上训练用于热力学推理的深度卷积网络。该方法实现了低功耗AI推理设备的可扩展训练,在CIFAR-10和CIFAR-100等图像分类任务上达到了高精度。该工作还引入了数学理论来关联推理成本与准确性,并探索了最优推理计划,这对未来热力学AI的硬件开发具有启示意义。
-
新框架通过加权客户端贡献改进个性化联邦学习
研究人员开发了 SP-CACW,一个用于个性化联邦学习的新框架。该方法旨在通过智能加权同伴梯度来改善个体客户端的学习成果。SP-CACW 明确最小化目标客户端的收敛误差,使其能够为可能对其学习过程产生负面影响的客户端分配零权重。该框架在 MNIST、CIFAR-100 和 LEAF Shakespeare 等数据集上展示了与现有个性化和聚类基线相比具有竞争力或更优的性能。
-
新的StoMPP方法改进了二值神经网络的训练
研究人员推出了一种新颖的二值神经网络(BNN)训练方法StoMPP(Stochastic Masked Partial Progressive Binarization,随机掩码部分渐进式二值化),该方法避免了在使用直通估计器(STE)时通常会遇到的更深层网络精度下降问题。StoMPP从输入到输出逐渐二值化网络层,在ResNet-50、MobileNetV2和BERT等各种架构中提供了显著的精度提升,即使在不使用STE的情况下也是如此…
-
PERTINENCE 方法通过动态选择模型优化 DNN 效率
研究人员开发了 PERTINENCE,一种新颖的运行时方法,旨在优化深度神经网络 (DNN) 的计算效率。该技术根据输入复杂度从预训练模型集中动态选择最合适的模型,旨在降低计算成本和能耗,同时不显著影响准确性。在包括图像分类和基于 YOLO 的系统在内的各种数据集和应用上的评估表明,PERTINENCE 可以实现相当或更高的准确性,同时将操作减少高达 36%。
-
新回归方法增强了基础模型的安全性和准确性
研究人员开发了一种新的黑盒辅助回归方法,旨在提高基础模型在下游任务中使用有限数据时的可靠性。该方法称为安全残差估计器(Safe Residual Estimator),它学习对现有黑盒预测器进行修正,并使用验证数据,如果修正支持不佳,则恢复到原始预测器,从而避免负迁移。在合成数据和真实世界数据集(如 CIFAR-100 和 AG News)上使用 CLIP 和 Qwen3-8B 等模型进行的实验,证明了这种残差修正权衡的有效性。
-
新的 IF-Beta 框架通过数据剪枝简化知识蒸馏
研究人员开发了 IF-Beta,一个利用可学习数据剪枝的高效知识蒸馏新框架。该方法结合了影响函数和 Beta 分布参数化采样策略,以识别和选择对蒸馏最有影响的数据子集。IF-Beta 旨在通过使学生模型能够使用更少的数据和计算进行训练,同时在蒸馏全数据集时仍能取得优于现有方法的性能,从而降低知识蒸馏的计算开销。
-
Mamba-FSCIL:用于少样本类别增量学习的选择性状态空间模型
研究人员开发了Mamba-FSCIL,一种利用选择性状态空间模型(SSM)的少样本类别增量学习新方法。该方法通过采用输入依赖参数进行动态适应,解决了顺序学习中平衡静态和动态架构的挑战。Mamba-FSCIL引入了一个双选择性SSM投影仪来解耦基类和新类处理,以及一个类敏感选择性扫描机制,以在适应新类的同时最大限度地减少对现有知识的干扰。在miniImageNet和CIFAR-100等基准数据集上的实验表明,Mamba-FSCIL取得了…
-
新框架改进了无样本类别增量学习
研究人员推出了一种新颖的无样本类别增量学习(EFCIL)方法——几何锚定传输框架。该框架将特征传输作为内在训练约束,而不是单独的后任务步骤,以在变化的特征空间中保持稳定的决策边界。它利用通过马氏距离对齐回归获得的解析几何锚点来解决各向异性漂移,并利用拓扑感知演化目标来正则化流形退化。在 CIFAR-100、TinyImageNet 和 ImageNet-100 上的实验表明,这种耦合方法在严格的无样本条件下比现有的事后方法提高了性能。
-
新的“Pre-Warm”方法提高了CNN初始化精度
研究人员开发了一种名为Pre-Warm的新方法来初始化卷积神经网络。该技术使用单个训练批次的数据来条件化第一个卷积层的初始化,采用了MiniBatchKMeans聚类和逆曼哈顿空间加权。Pre-Warm在包括MNIST、Fashion-MNIST、CIFAR-10、SVHN和CIFAR-100在内的多个标准基准测试中,均显示出统计学上显著的精度提升,且开销可忽略不计,无需进行任何架构更改。
-
新的SKANs提供KANs的参数高效替代方案
研究人员引入了结构化Kolmogorov-Arnold卷积(SKANs),作为现有卷积Kolmogorov-Arnold网络(KANs)的一种更参数高效的替代方案。新方法将可学习函数从单个核条目重新定位到卷积的整体结构,作用于像素值或滤波器形状。实验表明,SKAN变体,特别是RF-KAN和SV-KAN,在CIFAR-10和CIFAR-100数据集上取得了具有竞争力的准确率,并且参数数量远少于传统的KANs。