Tiny-ImageNet
PulseAugur coverage of Tiny-ImageNet — every cluster mentioning Tiny-ImageNet across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
新的 LiST 方法增强了神经网络的准确性、鲁棒性和校准性
研究人员推出了一种名为 Lipschitz Scaling Training (LiST) 的新方法，旨在同时提高神经网络的准确性、鲁棒性和校准性。LiST 在 Lipschitz 约束和温度缩放（一种校准技术）之间建立了理论和经验联系。通过在训练过程中迭代调整 Lipschitz 常数，LiST 在准确性-鲁棒性权衡曲线上识别出一个最佳操作点，同时确保了校准性。该方法已在 CIFAR-10/100 和 Tiny-ImageNet 等…
-
新的C-GCD方法使用虚拟类别改进无标签数据学习 · 跟踪2个来源
研究人员开发了一种新的持续广义类别发现（C-GCD）方法，称为虚拟类别引导的持续广义类别发现。该方法将虚拟类别学习（VCL）应用于从无标签数据中逐步识别新类别，同时保留已知类别的知识。它通过将模糊样本分配给临时的虚拟类别来解决模糊样本的挑战，从而避免了噪声标签并减轻了对熟悉类别的偏见。该方法通过扩展邻域对比学习（ENCL）得到进一步增强，以改进表示学习和类别分离。在CIFAR-100、Tiny ImageNet和ImageNet-10…
-
轻量级卷积神经网络的准确性和效率基准测试
一项新近发表在arXiv上的研究，为轻量级卷积神经网络（CNNs）提供了一个可复现的基准测试。该研究在CIFAR-10、CIFAR-100和Tiny ImageNet数据集上比较了七种已建立的架构。研究人员在统一的微调协议下，根据准确性、参数数量、存储和计算操作评估了模型。EfficientNetV2-S取得了最高的Top-1准确率，而EfficientNet-B0在性能和效率之间取得了良好的平衡，使用的参数和操作数量显著减少。研究还…
-
新AEGIS框架增强视觉传感器中的对抗性检测
研究人员开发了AEGIS，一个旨在增强视觉传感器网络中对抗性检测鲁棒性的新框架。该系统集成了SemantiGAN模块，用于对不一致的输入进行语义区分，以及一个利用Dirichlet分布的Evidential Deep Learning分类器，该分类器在预测的同时提供校准的不确定性估计。在Tiny ImageNet数据集上的评估表明，AEGIS在检测各种对抗性攻击方面表现出色，取得了高AUROC、AUPRC和准确率分数。
-
新的TaFD框架提升深度学习的对抗鲁棒性
研究人员开发了一种名为威胁感知频率解耦（TaFD）的新型防御框架，以提高深度学习模型的对抗鲁棒性。TaFD通过将联合对抗训练重新构建为频域方法来应对异构攻击（如$\ell_p$-有界攻击和语义攻击）的挑战。该框架通过无监督聚类识别威胁域，然后使用频率条件卷积将样本路由到专门的专家，从而缓解优化冲突并增强均衡鲁棒性。
-
新方法推动个性化联邦学习和联邦遗忘
研究人员开发了几种新方法来增强个性化联邦学习（PFL），这是一种允许AI模型从分布式数据中学习同时保持客户端特定适应性的技术。例如，CLoVE使用客户端损失向量嵌入来识别和分离客户端集群，优化特定于集群的模型。pFedUL通过区分共享层和个性化模型层的策略来解决PFL中的联邦遗忘问题，以遵守GDPR等隐私法规。此外，DC-CFL通过分析数据协作提供了一种单轮集群联邦学习方法，而FedSPC则引入了一种共享参数校正方法来提高PFL模型的一致性。
-
前向卷积神经网络通过可学习通道分配实现新的最先进水平
研究人员开发了一种新的卷积神经网络（CNN）前向学习算法，该算法改进了现有方法。这种方法引入了一种可学习的机制，用于将通道分配给类别，从而实现更具适应性和数据驱动的专业化。此外，一种感知损失的层贡献策略根据中间预测的验证性能对其进行加权，从而增强了推理。当集成到残差CNN中时，该方法在多个图像数据集上实现了前向模型中的最先进性能，显著缩小了与传统反向传播技术的差距。
-
新型防御系统保护神经网络免受参数攻击
研究人员开发了一种名为ParDef的新型防御机制，旨在保护深度神经网络免受持续的参数攻击。该系统集成了密钥通道重参数化、用于纠错的QC-LDPC量化以及自适应鲁棒推理来稳定预测。在标准数据集和模型上的评估表明，ParDef能够有效降低各种参数篡改方法的攻击成功率，同时性能下降最小且开销适中。
-
新的本地学习方法媲美自监督反向传播
研究人员开发了新的本地自监督学习（SSL）算法，这些算法可以近似模拟深度神经网络中基于全局反向传播的SSL的性能。这些新颖的算法，特别是使用CLAPP损失函数的变体，显示出与全局反向传播更新的改进相似性，并在图像数据集上取得了有竞争力的结果。这项工作弥合了理论上的本地SSL与实践中的全局SSL方法之间的差距。
-
新RRISE方法大幅降低AI鲁棒性认证成本
研究人员开发了RRISE，一个用于鲁棒半径推断的新框架，它显著加快了认证$\ell_2$分类鲁棒性的过程。通过训练一个学习到的代理模型，RRISE用一次前向传播取代了数千次蒙特卡洛采样步骤，使得认证鲁棒性在实时系统中变得实用。该方法在认证精度上与传统的随机平滑法相当，同时大幅降低了部署期间的计算成本。
-
新的NPPR指标提供了鲁棒的深度学习评估
研究人员引入了非参数概率鲁棒性（NPPR），一种用于评估深度学习模型鲁棒性的新指标。与假设已知扰动分布的先前方法不同，NPPR直接从数据中学习这种分布，在不确定性下提供了更实际的评估。开发了一种使用高斯混合模型的NPPR估计器，理论分析表明其与现有的对抗性和概率鲁棒性指标的关系。在标准数据集和各种模型架构上的实验表明，NPPR提供了更保守的鲁棒性估计。
-
新研究应对AI的灾难性遗忘问题
多篇研究论文探讨了持续学习的先进技术，旨在防止AI模型的灾难性遗忘。一种方法“经验混合”（Experience Blending, EB）使用生成的“支持边界数据”来丰富决策边界并提高图像分类等任务的准确性。另一种方法TeLAPA通过组织多样化的策略邻域而非依赖单一演进策略来解决持续强化学习问题，从而增强适应性和重用性。其他研究则探讨了任务粒度对遗忘的影响，提出了用于监控大型预训练模型在线学习的LargeMonitor等框架，并引入了…
-
新框架统一神经网络的信用分配
研究人员开发了一个名为Score Broadcast and Decorrelation (SBD) 的新框架，用于神经网络中的信用分配。该框架旨在与各种可微分损失函数协同工作，为反向传播提供了一种具有生物学合理性的替代方案。SBD基于输出分数和隐藏层激活之间的正交性原理，统一了常见损失族中的基于广播的信用分配。在图像数据集上的实验证明了SBD的有效性，并且增加了一个分数向量扩展技术，带来了进一步的改进。
-
新方法通过ANN知识蒸馏提高SNN性能
研究人员开发了一种名为STARS（Spike Tail-Aware Relational Synthesis）的新方法，通过从人工神经网络（ANN）蒸馏知识来提高脉冲神经网络（SNN）的性能。该技术解决了无数据知识蒸馏的挑战，即原始训练数据不可用。STARS通过保持跨样本关系一致性并正则化与阈值相关的尾部概率来增强现有方法，从而在基准数据集上取得显著的性能提升。
-
新的 C2R 框架增强了数据集蒸馏的健壮性
研究人员开发了一个名为对比课程健壮数据集蒸馏 (C$^2$R) 的新框架，以提高蒸馏数据集的健壮性。与之前同等对待所有对抗性扰动的方法不同，C$^2$R 优先处理具有最小鲁棒裕度的样本，并明确拓宽决策边界之间的分离。这种方法可以实现更好的准确性-健壮性权衡，在各种数据集和攻击中实现卓越的鲁棒准确性。
-
新的HCL-FF框架提升了前向-前向算法在神经网络中的表现
研究人员开发了一个名为HCL-FF的新框架，以改进前向-前向（FF）算法，这是一种在生物学上可行的替代反向传播的神经网络训练方法。这种增强的方法结合了层次化学习策略和监督对比目标，以更好地使表示与语义含义对齐。实验表明，HCL-FF在图像分类任务上显著优于以前的基于FF的方法，在CIFAR-10和Tiny-ImageNet等数据集上取得了实质性的准确性提升。
-
CutMix 训练协议在视觉 Transformer 中诱导空间局部性
研究人员发现，特定的训练技术可以促进视觉 Transformer 的空间局部性。通过使用涉及 CutMix 和 ColorJitter 等数据增强以及标签平滑的“现代”协议，ViT 的早期层显示出更集中的注意力模式。一项消融研究表明，CutMix 是这种效应的主要驱动因素，与基线方法相比，显著降低了平均注意力距离。
-
LSFormer通过新的注意力机制推动脉冲神经网络发展
研究人员开发了一种新颖的基于Transformer的脉冲神经网络，称为LSFormer，旨在克服现有模型的局限性。LSFormer引入了脉冲响应池化（SPooling）和局部结构感知脉冲自注意力（LS-SSA），以更好地保留区域特征并减少计算冗余。这种新架构利用局部扩张窗口机制来捕捉细粒度细节和更广泛的依赖关系，在Tiny-ImageNet和N-CALTECH101等数据集上取得了最先进的成果。
-
新的AS-LoRA方法提高了联邦学习的隐私性
研究人员开发了AS-LoRA，一种用于隐私保护联邦学习中LoRA组件自适应选择的新型框架。该方法通过允许每一层独立选择其活动组件并在通信轮次中调整这些选择来解决此类设置中常见的聚合错误。AS-LoRA在不增加隐私成本的情况下，理论上提高了收敛速度和准确性，并在GLUE和SQuAD等基准测试中取得了显著的进步。
-
新的协方差感知优度方法提升了前向-前向学习的性能
研究人员开发了一种名为协方差感知优度（BiCovG）的新方法，以提高前向-前向（FF）学习算法的性能，特别是在卷积神经网络中。该方法通过纳入二阶依赖性和空间相关性统计数据，解决了现有FF方法在复杂图像数据集上表现不如反向传播的局限性。提出的框架包括一个逻辑融合模块和一个特征对齐层，使得FF学习能够应用于更深的网络，并在ImageNet-100和Tiny-ImageNet等基准测试中取得了有竞争力的结果。