CIFAR-10
PulseAugur coverage of CIFAR-10 — every cluster mentioning CIFAR-10 across labs, papers, and developer communities, ranked by signal.
- instance of Fashion-MNIST 90%
- used by ResNet18 90%
- instance of CIFAR10-DVS: An Event-Stream Dataset for Object Classification 90%
- instance of ResNet-20 90%
- used by SGD 80%
- instance of CIFAR-100 70%
- used by Fashion-MNIST 70%
- used by ResNet-18 70%
- instance of Tiny-ImageNet 70%
- used by Tiny-ImageNet 70%
- instance of ResNet-18 70%
- used by residual neural network 70%
20 天有情绪数据
-
新的IPZO方法增强了IMC加速器上的SNN微调
研究人员开发了一种名为隐式扰动ZO（IPZO）的新方法，以提高在内存计算（IMC）加速器上微调脉冲神经网络（SNN）的效率。该方法通过减少冗余操作和扰动生成的硬件需求，解决了不可微SNN的梯度估计限制。提出的PGU-XOR技术是IPZO的关键组成部分，在硬件上显著降低了面积和能量开销的同时，展示了与基于软件的方法相当的准确性。
-
新的神经先验估计器从潜在表示中学习类别先验
研究人员开发了一种名为神经先验估计器（NPE）的新颖方法，可以直接从网络的潜在表示中学习类别先验，而不是依赖于显式的类别计数。该方法涉及将轻量级的先验估计模块（PEM）附加到潜在空间，并使用逻辑目标进行训练。在CIFAR-10和CIFAR-100等数据集上的实验表明，由此产生的学习到的logit校正NPE-LA，与标准方法相比具有竞争力，并能改善少数类别的性能。该技术在STARE和ADE20K数据集的密集预测任务中也被证明是一种有效的…
-
新的DeltaMomentum优化器加速深度学习训练
研究人员推出了一种新颖的深度学习优化器动量更新方法——DeltaMomentum。与使用固定指数移动平均率的传统方法不同，DeltaMomentum根据特定方向梯度更新的频率动态调整遗忘率。这种受线性层梯度结构启发的基于键值对的方法旨在更有效地清除陈旧方向并提高训练速度。实验表明，DeltaMomentum的实现版本DeltaAdamW在包括大型语言模型和图像分类任务在内的各种模型规模和数据集上，与标准的AdamW相比，在显著更少的步…
-
新框架桥接图模型改进了生成式AI设计
研究人员引入了桥接图模型（BGMs）作为分析和改进连续时间生成模型的新框架。BGMs将端点耦合、桥接律和马尔可夫投影等设计选择解耦，为模型开发提供了更结构化的方法。一个关键概念是“马尔可夫化间隙”，它衡量了桥接到解码器的压缩中不可约的损失，并可以在训练前预测模型性能，已在CIFAR-10和Fashion-MNIST数据集上得到证明。
-
Haar之外的小波基团可提高AI模型的效率
研究人员探索了除常用的Haar和小波之外的不同小波基团在小波卷积层中的有效性。他们的研究侧重于滤波器长度和分解级别之间的权衡，发现像Coiflets这样具有更强近似特性的基团，与Haar相比，可以用更少的参数和FLOPs实现具有竞争力的准确性。这表明替代小波基团为构建基于小波的架构的实践者提供了更高效的设计选择，特别是在图像分类和语义分割任务中。
-
新技术提高了视觉模型差分隐私训练的准确性
研究人员开发了一种名为谱梯度正交化（SGO）的新技术，以提高视觉模型差分隐私训练的准确性。该方法解决了隐私训练中添加的各向同性高斯噪声会破坏梯度信息的问题，尤其是在视觉模型常见的低秩子空间中。SGO作为一种后处理步骤，在不损害隐私的情况下从噪声梯度的结构中恢复方向信号。SGO的有效性取决于信噪比（SNR），在高容量模型和大批量大小下显示出显著的改进，而在低SNR环境下，标准的DP-SGD或时间去噪可能更合适。
-
新的噪声群组神经元模型提升脉冲神经网络性能
研究人员引入了一种新颖的噪声群组神经元（NGN）模型，旨在提升脉冲神经网络（SNN）的性能。该模型整合了群体同步重置和神经随机性，以应对训练深度SNN时面临的挑战，例如时空信息丢失和梯度不匹配。NGN方法结合基于平均场动力学的反向传播学习，在CIFAR-10、CIFAR-100和Tiny-ImageNet等各种数据集上取得了显著改进，在10次推理步骤内，CIFAR10-DVS的准确率达到了87.35%。
-
新的噪声群组神经元方法提高了脉冲神经网络的性能
研究人员开发了一种名为噪声群组神经元（NGN）的新方法来改进脉冲神经网络（SNN）的训练。该方法通过引入群体同步重置和神经随机性，解决了时空信息丢失和梯度不匹配等挑战。NGN 方法结合反向传播学习，在 CIFAR10-DVS 数据集上，在 10 次推理时间步内达到了 87.35% 的准确率，显示出其在高性能神经形态计算方面的潜力。
-
新框架允许神经网络通过自我实验进行学习
研究人员引入了自我干预学习（SIL），一个新颖的框架，其中神经网络主动扰动自身结构以学习预测性自我模型。这种方法允许系统观察其内部变化的后果，泛化这些知识，并利用预测来指导未来的结构修改。虽然SIL在合成环境中通过恢复关键网络结构和提高预测准确性方面取得了成功，但其在CIFAR-10与ResNets等现实任务中的应用结果喜忧参半。学习到的自我模型并不总是优于更简单的直接经验策略，这表明尽管SIL为网络内部理解提供了一个有前景的方向，但…
-
新方法通过反事实细化改进视觉令牌通信
研究人员开发了一种名为门控反事实通信细化（GCR-C）的新方法，以改进视觉令牌通信。该技术旨在优化发送用于传输的离散令牌的选择，确保所选令牌即使在有限的数据包预算下也能更好地重建接收端丢失的内容。在各种数据集和通信场景下的实验表明，GCR-C 在不增加传输速率的情况下提高了重建质量，尽管由于额外的编码器端评估，它在质量和计算之间引入了权衡。
-
LP-NAS框架使用线性规划进行高效神经架构搜索
研究人员推出了一种新颖的神经架构搜索（NAS）框架LP-NAS，该框架利用了线性规划的原理。该方法旨在通过将搜索空间视为连续空间来自动化神经网络架构的设计，从而实现高效优化。LP-NAS利用验证损失梯度和训练损失Hessians来构建线性规划问题，以指导架构更新，平衡泛化能力和参数最优性。在CIFAR-10、CIFAR-100和ImageNet上的实验表明，与DARTS等现有的可微分NAS方法相比，LP-NAS变体实现了更快的收敛速度…
-
新的神经架构搜索（NAS）方法优化神经网络的紧凑性和性能
研究人员开发了一个新的神经架构搜索（NAS）框架，该框架使用连续松弛来更有效地优化神经网络架构。这种方法，包括NAS-NG和NAS-MA等方法，允许在复杂、组合式搜索空间上进行可微分优化。在MNIST和CIFAR-10数据集上使用MLP和CNN模型进行的实验表明，这些方法可以识别出具有竞争力或改进的预测性能的紧凑型架构，其性能优于DARTS等现有方法，并减少了参数数量。
-
新方法提高ANN-SNN转换精度和速度
研究人员开发了一种新方法，以提高人工神经网络（ANN）到脉冲神经网络（SNN）的转换精度，解决了准确率下降和推理延迟的问题。所提出的策略包括动态初始电位调整和特征增强，包括用于适应初始电位和减轻截断偏差的正则化损失。此外，还引入了一个专门的竞争性细化层来锐化特征辨别能力并稳定编码，从而在CIFAR-10、CIFAR-100和ImageNet等数据集上实现了显著的准确率提升，且计算开销极小。
-
新的SAGE方法通过自适应梯度改进脉冲Transformer训练 · 跟踪2个来源
研究人员推出了一种新颖的代理梯度机制SAGE，旨在改进脉冲Transformer的训练。该方法利用注意力引导熵在训练过程中自适应调整代理梯度斜率，从而增强优化灵活性，而无需改变推理模型。在CIFAR-10和CIFAR-100数据集上的实验表明，SAGE相比传统的固定代理基线，能够实现1-2%的一致性准确率提升。
-
Lapis 尖峰注意力机制降低了 vision transformers 的能耗
研究人员推出 Lapis，一种专为尖峰 vision transformers 设计的新型尖峰注意力机制。该新方法根据其查询和键的首次尖峰延迟向量之间的 L1 距离对 token 对进行评分，并通过拉普拉斯核映射此距离。Lapis 旨在通过降低注意力机制的计算成本来提高效率，在 CIFAR-10 和 ImageNet-1K 等基准测试中实现高精度，同时与传统的密集点积注意力相比显著降低了能耗。
-
ZeroPur 方法提供无训练对抗性净化
研究人员推出了一种新颖的对抗性净化方法 ZeroPur，该方法无需额外训练。该技术将对抗性图像视为自然图像流形中的异常值，并通过将其投影回该流形来净化它们。ZeroPur 分为两个步骤：引导偏移以找到偏移的嵌入，以及自适应投影以创建用于投影的方向向量。在 CIFAR-10、CIFAR-100 和 ImageNet-1K 数据集上使用各种分类器架构进行的实验证明了其最先进的鲁棒性能。
-
新方法增强 Spiking Transformer 在图像任务上的性能 · 跟踪 2 个来源
研究人员引入了尖峰局部交互 (SLI) 和自适应互补融合 (ACF) 来增强 Spiking Transformer。这些方法通过引入一个独立于注意力的通道，用于相邻尖峰令牌之间的直接信息交换，并自适应地平衡 SSA 和 SLI 的贡献，从而解决了标准尖峰自注意力 (SSA) 的局限性。在包括 ImageNet-1K 和 ADE20K 在内的各种数据集上的实验表明，在图像分类、基于事件的识别和语义分割方面取得了持续的改进。
-
经典 SU(2) 模型在视觉任务上优于量子电路
一篇新的研究论文在各种视觉基准测试上比较了经典 SU(2) 模型与变分量子电路 (VQC)。研究发现，四元数神经网络（一种经典 SU(2) 模型）在 MNIST、Fashion-MNIST 和 CIFAR-10 等数据集上的表现与浅层 VQC 相当或更好。虽然四元数网络保持了很高的实值网络性能百分比，但 VQC 显示出较低的准确率和较高的计算成本，这表明对于缺乏内在量子结构的任务，经典 SU(2) 几何可以作为浅层量子电路的有效替代方案。
-
受生物启发的D-SNN架构提高了效率和透明度
研究人员开发了一种可分解脉冲神经网络（D-SNN），它通过将分类路径隔离成独立的专家来模仿生物神经系统，从而避免了全局纠缠。这种模块化架构在MNIST和CIFAR-10等基准测试中达到了具有竞争力的准确率，同时使用的参数显著减少，并且运行时的脉冲率较低。D-SNN的设计还提供了对灾难性遗忘的内在保护，并提供可审计的神经信号，使其适用于资源受限的边缘环境。
-
新的攻击通过标签翻转和过采样来针对联邦GAN
研究人员详细介绍了针对生成对抗网络（GAN）的联邦学习设置的新型对抗攻击。这些攻击涉及恶意客户端在本地训练期间通过翻转标签或对有毒样本进行过采样来操纵数据。目的是扭曲全局生成器的输出，使其将目标标签映射到错误的类别。该研究使用Kullback-Leibler散度量化了影响，表明虽然语义损害随中毒强度线性增加，但与真实分布的偏差呈二次方增长，这使得检测变得困难。