CIFAR-100
PulseAugur coverage of CIFAR-100 — every cluster mentioning CIFAR-100 across labs, papers, and developer communities, ranked by signal.
- instance of Class Incremental Learning 90%
- used by ResNet-18 70%
- instance of Imagenet 1k 70%
- used by Imagenet 1k 70%
- instance of ImageNet-100 70%
- used by ResNet-50 70%
- used by residual neural network 70%
- used by The Street View House Numbers Dataset 70%
- instance of residual neural network 70%
- instance of The Street View House Numbers Dataset 70%
- used by Vision Transformers 70%
- instance of CUB-200 2011 Caltech Birds Dataset 70%
19 天有情绪数据
-
新的神经先验估计器从潜在表示中学习类别先验
研究人员开发了一种名为神经先验估计器（NPE）的新颖方法，可以直接从网络的潜在表示中学习类别先验，而不是依赖于显式的类别计数。该方法涉及将轻量级的先验估计模块（PEM）附加到潜在空间，并使用逻辑目标进行训练。在CIFAR-10和CIFAR-100等数据集上的实验表明，由此产生的学习到的logit校正NPE-LA，与标准方法相比具有竞争力，并能改善少数类别的性能。该技术在STARE和ADE20K数据集的密集预测任务中也被证明是一种有效的…
-
新的噪声群组神经元模型提升脉冲神经网络性能
研究人员引入了一种新颖的噪声群组神经元（NGN）模型，旨在提升脉冲神经网络（SNN）的性能。该模型整合了群体同步重置和神经随机性，以应对训练深度SNN时面临的挑战，例如时空信息丢失和梯度不匹配。NGN方法结合基于平均场动力学的反向传播学习，在CIFAR-10、CIFAR-100和Tiny-ImageNet等各种数据集上取得了显著改进，在10次推理步骤内，CIFAR10-DVS的准确率达到了87.35%。
-
新的噪声群组神经元方法提高了脉冲神经网络的性能
研究人员开发了一种名为噪声群组神经元（NGN）的新方法来改进脉冲神经网络（SNN）的训练。该方法通过引入群体同步重置和神经随机性，解决了时空信息丢失和梯度不匹配等挑战。NGN 方法结合反向传播学习，在 CIFAR10-DVS 数据集上，在 10 次推理时间步内达到了 87.35% 的准确率，显示出其在高性能神经形态计算方面的潜力。
-
新的MVN-Grad优化器提高了深度学习的稳定性和性能
研究人员推出了一种新颖的优化算法MVN-Grad，旨在提高深度学习模型的稳定性和性能。该方法将基于方差的归一化与归一化后的动量相结合，旨在缓解Adam等标准优化器中存在的梯度尖峰和跨时间耦合等问题。在CIFAR-100图像分类和GPT风格语言建模等任务上，MVN-Grad与现有优化器相比，在计算开销仅略微增加的情况下，实现了具有竞争力的或更优的结果，提供了更平稳的训练和更好的泛化能力。
-
LP-NAS框架使用线性规划进行高效神经架构搜索
研究人员推出了一种新颖的神经架构搜索（NAS）框架LP-NAS，该框架利用了线性规划的原理。该方法旨在通过将搜索空间视为连续空间来自动化神经网络架构的设计，从而实现高效优化。LP-NAS利用验证损失梯度和训练损失Hessians来构建线性规划问题，以指导架构更新，平衡泛化能力和参数最优性。在CIFAR-10、CIFAR-100和ImageNet上的实验表明，与DARTS等现有的可微分NAS方法相比，LP-NAS变体实现了更快的收敛速度…
-
SSOG-Attention 提供可扩展的SDPA替代方案，降低了复杂性
研究人员开发了SSOG-Attention，这是一种新颖的方法，提供了标准缩放点积注意力（SDPA）的次二次方且可扩展的替代方案。通过学习高斯原子并基于查询令牌对其进行几何引导，SSOG-Attention将计算复杂度从O(N²·d)降低到O(N·√N·d)。实验表明，SSOG-Attention在CIFAR-100等较小数据集上优于SDPA，并在ImageNet-1K等较大数据集上以更快的收敛速度达到同等性能，同时在规模化时也更节省内存。
-
新方法提高ANN-SNN转换精度和速度
研究人员开发了一种新方法，以提高人工神经网络（ANN）到脉冲神经网络（SNN）的转换精度，解决了准确率下降和推理延迟的问题。所提出的策略包括动态初始电位调整和特征增强，包括用于适应初始电位和减轻截断偏差的正则化损失。此外，还引入了一个专门的竞争性细化层来锐化特征辨别能力并稳定编码，从而在CIFAR-10、CIFAR-100和ImageNet等数据集上实现了显著的准确率提升，且计算开销极小。
-
新的Uniform Herding方法改进了类增量学习
研究人员推出了一种用于类增量学习中示例回放的新方法Uniform Herding。该技术旨在通过管理一个有限的活动示例集并从候选池中刷新选定的示例，来在特征表示演变时保持早期类别的性能。在CIFAR-100上使用ResNet-18骨干网络进行的实验表明，与iCaRL方法相比，Uniform Herding实现了更高的最终平均准确率并减少了遗忘。
-
新的SAGE方法通过自适应梯度改进脉冲Transformer训练 · 跟踪2个来源
研究人员推出了一种新颖的代理梯度机制SAGE，旨在改进脉冲Transformer的训练。该方法利用注意力引导熵在训练过程中自适应调整代理梯度斜率，从而增强优化灵活性，而无需改变推理模型。在CIFAR-10和CIFAR-100数据集上的实验表明，SAGE相比传统的固定代理基线，能够实现1-2%的一致性准确率提升。
-
新的蒸馏方法教会AI模型避免捷径
研究人员开发了一种名为反捷径蒸馏（ASD）的新知识蒸馏技术。该方法使用早期教师模型作为负参考，引导学生模型避免学习捷径。ASD包含两个损失：时间对比损失和捷径抑制损失，后者会惩罚学生模型在已识别捷径方向上的投影。在CIFAR-100、ImageNet-100和TinyImageNet上的实验表明，ASD在干净准确性和鲁棒性方面优于标准知识蒸馏，尤其是在跨架构场景中。
-
新的CoLoRA方法为CNN提供高效微调
研究人员推出了一种新颖的、参数高效的微调方法CoLoRA，该方法专为卷积神经网络（CNN）设计。该技术通过将卷积核更新分解为轻量级的深度卷积和逐点卷积组件，将LoRA的原理扩展到了卷积层。与完全微调相比，CoLoRA显著减少了可训练参数数量（超过80%），同时保持了原始模型大小和推理复杂度。在OCTMNISTv2等医学成像数据集上，使用VGG16和ResNet50等模型进行的实验表明，CoLoRA在分类性能上具有竞争力。
-
新的共形对齐方法提高了边缘AI的可靠性
研究人员开发了一种名为基于共形对齐（CAb）的级联新方法，以提高边缘智能系统的可靠性。该方法确保设备上模型所做的预测与更强大的云模型所做的预测一样，在包含真实标签的概率方面保持指定水平。通过将边缘到云的升级视为一个多假设检验问题，CAb 选择性地将输入卸载到云端，从而平衡了覆盖率、延迟率和预测集大小。在图像分类和问答基准测试上的实验证明了CAb在保持条件覆盖率的同时减少对云的依赖方面的有效性。
-
显著性引导裁剪在恶意软件图像分类中效果不一
研究人员调查了显著性引导裁剪技术在基于图像的恶意软件分类中的有效性。他们使用RawMal-TF数据集和ResNet18架构进行了实验，比较了四种训练条件：无裁剪、随机裁剪、低显著性裁剪和高显著性裁剪。结果表明，虽然低显著性裁剪略微提高了在自然图像CIFAR-100数据集上的性能，但在RawMal-TF的恶意软件图像上，所有裁剪方法与无裁剪相比，性能均略有下降。这表明显著性引导裁剪的效用是领域特定的，恶意软件图像可能需要不同于自然图像的…
-
ZeroPur 方法提供无训练对抗性净化
研究人员推出了一种新颖的对抗性净化方法 ZeroPur，该方法无需额外训练。该技术将对抗性图像视为自然图像流形中的异常值，并通过将其投影回该流形来净化它们。ZeroPur 分为两个步骤：引导偏移以找到偏移的嵌入，以及自适应投影以创建用于投影的方向向量。在 CIFAR-10、CIFAR-100 和 ImageNet-1K 数据集上使用各种分类器架构进行的实验证明了其最先进的鲁棒性能。
-
新方法增强 Spiking Transformer 在图像任务上的性能 · 跟踪 2 个来源
研究人员引入了尖峰局部交互 (SLI) 和自适应互补融合 (ACF) 来增强 Spiking Transformer。这些方法通过引入一个独立于注意力的通道，用于相邻尖峰令牌之间的直接信息交换，并自适应地平衡 SSA 和 SLI 的贡献，从而解决了标准尖峰自注意力 (SSA) 的局限性。在包括 ImageNet-1K 和 ADE20K 在内的各种数据集上的实验表明，在图像分类、基于事件的识别和语义分割方面取得了持续的改进。
-
新的MAGIC-SSCIL框架改进了半监督增量学习
研究人员推出了一种新颖的框架MAGIC-SSCIL，旨在解决神经网络中半监督类增量学习（SSCIL）的重大挑战，特别是在无法存储过去数据的情况下。该框架采用两个关键组件：使用基于图的标签传播来加权和校准类别均值和方差的软加权几何校准（SWGC），以及通过匹配学生和教师头并对齐特征原型来维持表示拓扑的几何结构对齐（GSA）目标。MAGIC-SSCIL采用冻结的ResNet-18骨干网络和可学习的适配器实现，在各种数据集和标签比例下，尤其…
-
FEAST框架增强了异构资源客户端的联邦学习能力
研究人员推出了一种新颖的联邦学习框架FEAST，旨在适应计算资源各异的客户端。FEAST训练一个单一的弹性模型（或称“超网”），通过同时学习多个子网络来适应不同客户端的预算。这种方法确保了参数能够被更广泛的客户端访问，从而提高了异构环境下的准确性。在CIFAR-100等数据集上的实验结果表明，FEAST的性能显著优于现有的权重共享方法，实现了更高的总体平均准确率，并减少了模型参数的传输量。
-
联邦学习中新发现标签粒度偏斜挑战
研究人员提出了联邦学习中的一个新挑战——标签粒度偏斜，即分层图像分类任务中的客户端提供不同详细程度的标签。为解决此问题，他们开发了一种方法，使用概率关系邻居分类器生成本地标签层级，并使用对不完全监督更具鲁棒性的条件softmax分类器。提出的分支解耦微调（BDFT）及其联邦版本FedBDFT在鲁棒性方面显示出显著改进，在CIFAR-100和ImageNet等数据集上，在严重偏斜情况下平均增益高达56.4%。
-
受生物启发的D-SNN架构提高了效率和透明度
研究人员开发了一种可分解脉冲神经网络（D-SNN），它通过将分类路径隔离成独立的专家来模仿生物神经系统，从而避免了全局纠缠。这种模块化架构在MNIST和CIFAR-10等基准测试中达到了具有竞争力的准确率，同时使用的参数显著减少，并且运行时的脉冲率较低。D-SNN的设计还提供了对灾难性遗忘的内在保护，并提供可审计的神经信号，使其适用于资源受限的边缘环境。
-
研究比较了基于特征与基于logit的知识蒸馏
一项新的arXiv研究调查了知识蒸馏技术，特别是比较了在不同学生模型架构中基于特征的方法与基于logit的蒸馏方法。研究人员发现，虽然基于logit的蒸馏持续改进了学生模型，但像Attention Transfer这样的基于特征的方法，其效果因学生的设计而异，有时甚至会对性能产生负面影响。研究还强调，基于特征的方法的统一辅助系数并不能保证跨不同学生模型的稳定训练条件。