Tiny-ImageNet
PulseAugur coverage of Tiny-ImageNet — every cluster mentioning Tiny-ImageNet across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
新的 Focal Calibration Loss 旨在提高分类器概率准确性
研究人员推出了一种新颖的深度神经网络分类器目标函数 Focal Calibration Loss (FCL)，旨在提高概率输出的置信度校准。FCL 将平方概率误差项集成到 focal loss 中，以控制后验失真。虽然 FCL 经过分类校准，但它并非总是严格的评分规则，这意味着其最优概率向量可能偏离真实后验。该研究量化了这种位移，并证明 FCL 锚点参数（$\lambda$）能有效管理这种位移，并提供校准误差的理论保证。在 CIFAR…
-
新的多重叠头自注意力提升视觉 Transformer 性能
研究人员推出了一种名为多重叠头自注意力（MOHSA）的新机制，旨在增强视觉 Transformer。与隔离注意力头的标准多头自注意力（MHSA）不同，MOHSA 允许查询、键和值在相邻头之间进行软重叠划分。这种注意力计算中的头间通信可以改善特征表示。实验表明，MOHSA 在 CIFAR-10、CIFAR-100、Tiny-ImageNet 和 ImageNet-1k 等多个基准数据集上提供了性能提升，计算成本仅略有增加。
-
新的噪声群组神经元模型提升脉冲神经网络性能
研究人员引入了一种新颖的噪声群组神经元（NGN）模型，旨在提升脉冲神经网络（SNN）的性能。该模型整合了群体同步重置和神经随机性，以应对训练深度SNN时面临的挑战，例如时空信息丢失和梯度不匹配。NGN方法结合基于平均场动力学的反向传播学习，在CIFAR-10、CIFAR-100和Tiny-ImageNet等各种数据集上取得了显著改进，在10次推理步骤内，CIFAR10-DVS的准确率达到了87.35%。
-
新的噪声群组神经元方法提高了脉冲神经网络的性能
研究人员开发了一种名为噪声群组神经元（NGN）的新方法来改进脉冲神经网络（SNN）的训练。该方法通过引入群体同步重置和神经随机性，解决了时空信息丢失和梯度不匹配等挑战。NGN 方法结合反向传播学习，在 CIFAR10-DVS 数据集上，在 10 次推理时间步内达到了 87.35% 的准确率，显示出其在高性能神经形态计算方面的潜力。
-
交叉验证改进了医疗影像AI的超参数调优
一篇新的研究论文探讨了深度学习图像分类器的超参数优化（HPO），特别是在医疗影像领域，因为该领域数据集通常较小。研究比较了三种HPO协议：固定留出法、重排留出法和5折交叉验证。结果表明，交叉验证提供了更可靠的测试性能估计，尤其是在数据有限的情况下，尽管它需要更多的计算资源。对于像Tiny ImageNet这样的大型数据集，不同协议之间的差异可以忽略不计。
-
LipCache框架通过认证缓存增强边缘图像分类
研究人员开发了LipCache，一个旨在提高边缘侧图像分类服务效率的新框架。该系统使用一个名为GuardNet的轻量级网络将输入映射到特征空间，从而实现认证语义缓存。通过根据分类边距和谱范数计算重用半径，LipCache仅在查询落在认证球内时重用缓存结果，否则回退到主模型。这种方法在CIFAR和Tiny-ImageNet等标准数据集上实现了显著的加速，同时准确性下降很小，并确保所有缓存命中都满足理论一致性条件。
-
新的深度学习模型遵循生物神经元约束
研究人员开发了一种新的、具有生物学合理性的深度神经网络学习模型，该模型遵循Dale约束，即神经元要么是兴奋性的，要么是抑制性的，而不是两者兼有，并且突触保持固定的符号。该模型使用两个相互作用的非负通道来表示正值和负值，其灵感来源于大脑的电路。该架构仅使用局部交互和Hebbian学习规则即可成功传播学习信号并更新权重，理论上可以用非负误差信号恢复反向传播更新。在实践中，这种开关架构在Tiny ImageNet基准测试上比标准网络表现出更…
-
新的DFCS方法将后门攻击效率提高了4.60% · 跟踪2个来源
研究人员开发了一种名为分布特征覆盖样本选择（DFCS）的新方法，以提高机器学习模型后门攻击的效率。这种无需训练、触发器无关的方法对预训练特征进行聚类，并从每个聚类中选择最近的样本，旨在避免冗余数据点。DFCS在各种数据集和攻击类型上展示了96.30%的高平均攻击成功率，平均比现有方法高出4.60个百分点，同时保持了干净的准确性。
-
新的影响匹配方法提高了数据集蒸馏的准确性
研究人员开发了一种名为影响匹配（Inf-Match）的新方法用于数据集蒸馏，该方法侧重于对齐模型训练的最终结果，而不是中间过程。这种方法使用了一个可微分的、样本级别的经验估计器来量化参数变化，从而能够高效地学习一个紧凑的合成数据集。Inf-Match在Tiny-ImageNet等分类基准测试中表现出卓越的准确性，其性能显著优于先前的方法，并且在Flickr30K上的视觉-语言蒸馏任务中也显示出潜力。
-
新的抗蒸馏采样保护分类模型免受知识蒸馏攻击
研究人员开发了ADS-C，一种新颖的抗蒸馏采样技术，旨在保护分类模型免受知识蒸馏攻击。与以前的方法不同，ADS-C以输入和置信度边际预算为依赖的方式扰乱模型的输出分布。这种方法可证明地保留了防御模型的top-1预测准确性，同时显著降低了在包括CIFAR-100、CIFAR-10和Tiny-ImageNet在内的各种数据集上蒸馏学生模型的性能。
-
影响匹配通过对齐训练结果来推进数据集蒸馏
研究人员推出了一种新颖的数据集蒸馏方法——影响匹配（Inf-Match），该方法侧重于对齐最终训练结果而非中间过程。此方法利用可微分的、样本级别的能力估计器来量化参数变化，而无需复杂的计算。Inf-Match 在标准分类基准测试中表现出卓越的准确性，在 Tiny-ImageNet 上优于 NCFM 等现有方法，并能有效地扩展到 Flickr30K 上的视觉-语言蒸馏任务。
-
撤稿论文将视觉 Transformer 稀疏性与数据复杂度关联起来
一篇最近被撤稿的 arXiv 论文探讨了视觉 Transformer (ViTs) 中“表征稀疏性”的现象。由 Kanishk Awadhiya 领导的研究提出，在 ViTs 中观察到的“U形”熵分布（信息在中间层被压缩）并非架构缺陷，而是数据依赖的适应。该研究分析了在不同复杂度数据集上 DINO 训练的 ViTs 的有效编码维度 (EED)，发现此瓶颈的深度与任务所需的语义抽象相关。
-
新的权重反馈方法增强了深度网络中的局部更新
研究人员开发了一种名为基于激活的预测编码的权重反馈（WF-Act-PC）的新方法，该方法允许在深度神经网络中进行更局部的权重更新。该方法旨在克服对非局部操作（特别是雅可比矩阵转置）的依赖，而雅可比矩阵转置是传统预测编码方法中的瓶颈。通过将雅可比矩阵转置分解为局部可用的项，WF-Act-PC 消除了误差传输所需的完整自动微分反向传播。在 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 数据集上的实验表明，WF-Ac…
-
新方法 RepTran 以 74.7% 的成功率修复 Transformer 模型
研究人员开发了 RepTran，这是一种新颖的、基于搜索的方法，专门用于修复 Transformer 模型，而 Transformer 模型是现代人工智能软件的关键组成部分。该方法通过识别可疑权重并使用差分进化进行迭代优化，专注于优化这些模型中的前馈网络。在 18 个故障基准上的评估表明，RepTran 的表现显著优于随机权重选择和 Arachne 等现有方法，平均修复率为 74.7%，并提高了人工智能软件的可靠性。
-
新的ETBQ方法可提高低比特神经网络量化精度
研究人员开发了一种名为高效量化前调优（ETBQ）的新方法，以提高深度神经网络低比特训练后量化（PTQ）的精度。该技术包括一个预处理调优阶段，在PTQ过程之前优化全精度模型，使其对量化误差不那么敏感。ETBQ不需要训练假量化模型，因此计算效率很高。在ImageNet和Cityscapes等各种数据集上的实验表明，ETBQ在不同任务中显著提高了低比特PTQ的性能。
-
新的 LiST 方法增强了神经网络的准确性、鲁棒性和校准性
研究人员推出了一种名为 Lipschitz Scaling Training (LiST) 的新方法，旨在同时提高神经网络的准确性、鲁棒性和校准性。LiST 在 Lipschitz 约束和温度缩放（一种校准技术）之间建立了理论和经验联系。通过在训练过程中迭代调整 Lipschitz 常数，LiST 在准确性-鲁棒性权衡曲线上识别出一个最佳操作点，同时确保了校准性。该方法已在 CIFAR-10/100 和 Tiny-ImageNet 等…
-
新的C-GCD方法使用虚拟类别改进无标签数据学习 · 跟踪2个来源
研究人员开发了一种新的持续广义类别发现（C-GCD）方法，称为虚拟类别引导的持续广义类别发现。该方法将虚拟类别学习（VCL）应用于从无标签数据中逐步识别新类别，同时保留已知类别的知识。它通过将模糊样本分配给临时的虚拟类别来解决模糊样本的挑战，从而避免了噪声标签并减轻了对熟悉类别的偏见。该方法通过扩展邻域对比学习（ENCL）得到进一步增强，以改进表示学习和类别分离。在CIFAR-100、Tiny ImageNet和ImageNet-10…
-
新的FLAT方法揭示联邦学习中隐藏的后门故障
研究人员开发了一种名为FLAT的新方法，以更好地检测水平联邦学习（HFL）模型中隐藏的后门故障。传统审计通常使用简化的指标，这些指标可能会掩盖一个关键漏洞，即单个目标标签会被多种触发器变体激活。FLAT通过充当潜在条件可靠性压力测试来解决此问题，从而能够更细致地评估模型行为在不同目标、触发器实现和防御措施下的变化。在CIFAR-10、CIFAR-100和Tiny-ImageNet上的实验表明，FLAT在保持模型干净效用的同时实现了高攻…
-
轻量级卷积神经网络的准确性和效率基准测试
一项新近发表在arXiv上的研究，为轻量级卷积神经网络（CNNs）提供了一个可复现的基准测试。该研究在CIFAR-10、CIFAR-100和Tiny ImageNet数据集上比较了七种已建立的架构。研究人员在统一的微调协议下，根据准确性、参数数量、存储和计算操作评估了模型。EfficientNetV2-S取得了最高的Top-1准确率，而EfficientNet-B0在性能和效率之间取得了良好的平衡，使用的参数和操作数量显著减少。研究还…
-
新AEGIS框架增强视觉传感器中的对抗性检测
研究人员开发了AEGIS，一个旨在增强视觉传感器网络中对抗性检测鲁棒性的新框架。该系统集成了SemantiGAN模块，用于对不一致的输入进行语义区分，以及一个利用Dirichlet分布的Evidential Deep Learning分类器，该分类器在预测的同时提供校准的不确定性估计。在Tiny ImageNet数据集上的评估表明，AEGIS在检测各种对抗性攻击方面表现出色，取得了高AUROC、AUPRC和准确率分数。