Tiny-ImageNet
PulseAugur coverage of Tiny-ImageNet — every cluster mentioning Tiny-ImageNet across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的SRTS-BCE方法在数据有限的情况下提高了AI分类器的校准性能
研究人员开发了一种名为信号路由温度缩放（SRTS-BCE）的新方法，用于提高AI分类器的校准性能，特别是在验证数据有限的情况下。该技术引入了一种低容量、风险条件的校准器，在校准预算较小时，其性能优于传统的标量方法，甚至优于更高容量的自适应方法。SRTS-BCE在CIFAR-100等数据集上使用ViT-B/16等模型取得了更好的性能，证明了其在数据受限场景下的有效性。
-
新的机器遗忘方法Unmerge和ReGUn提高了效率和数据隐私
研究人员开发了两种新的机器遗忘方法，该过程可以在不完全重新训练的情况下从训练模型中移除特定数据的影响。第一种方法Unmerge将遗忘重新构建为任务算术，通过减去学习到的遗忘分量来恢复原始任务向量。该技术在各种模型和数据集上都显示出效率和有效性，提高了性能指标并降低了遗忘的难度。第二种方法是参考引导遗忘（ReGUn），它侧重于分布不可区分性，利用保留的样本引导模型在遗忘数据上的预测行为接近真正未见过的数据。
-
Temperon训练方法以更低成本实现SAM质量
研究人员推出了一种新颖的训练方法Temperon，旨在以显著降低的计算成本实现Sharpness-Aware Minimization (SAM) 的质量。Temperon采用两阶段方法：初始探索阶段使用标准SGD，然后在训练后期切换到SAM包装的Muon精炼器。该方法在CIFAR-10/100和Tiny ImageNet等各种数据集上已证明具有与全时SAM相当的准确性，并能更快地达到目标准确率。该方法在预训练GPT-2和针对GLUE…
-
新的BARGE方法解决了带噪声标签的不平衡学习问题
研究人员开发了一种名为BARGE（Bounded Adjustment with Reliability-Guided Embeddings，具有可靠性引导嵌入的有界调整）的新方法，以应对带噪声标签的不平衡学习中的挑战。这种单阶段目标结合了有界的、先验调整的密度-功率得分与可靠性引导的角几何。BARGE旨在防止多数类占据主导地位，同时减轻错误标记的少数类样本的放大效应，并且不需要噪声率或转移矩阵的知识。
-
Sakana AI 提出层局部训练方法以训练 1000 层网络
Sakana AI 的研究人员开发了一种名为增强拉格朗日预测编码 (PC-ALM) 的新颖训练方法，它提供了一种传统的反向传播的层局部替代方法。这种新方法允许训练非常深（多达 1000 层）的神经网络，同时保持接近反向传播的性能。该方法已在 MNIST 和 Fashion-MNIST 等小型图像基准测试中得到验证，与标准的预测编码相比，在深层窄网络架构中显示出显著的改进。
-
新型威胁条件网络提供统一的对抗鲁棒性
研究人员推出了一种新颖的威胁条件网络（TCN）方法，旨在通过单一模型实现对广泛威胁等级的对抗攻击的鲁棒性能。TCN 利用表示分解框架，将威胁不变的骨干网络与威胁条件适配器分离开来。这种设计允许模型使用基于傅里叶的嵌入和通道级仿射调制来根据扰动级别调整其行为，从而在推理过程中实现无缝适应。在 CIFAR-10 和 CIFAR-100 等标准数据集上的实验表明，TCN 能够以最小的参数开销匹配或超越专用模型的性能，同时还能泛化到未见的威胁级别。
-
Superposed Latent Autoencoder 通过共享内存改进表示压缩
研究人员推出了一种新颖的表示压缩方法——Superposed Latent Autoencoder (SLAE)，该方法允许多个更宽的潜在表示通过学习到的叠加共享存储。与传统的减小潜在尺寸的自编码器不同，SLAE 将潜在表示转换为存储友好的代码，用随机密钥绑定它们，并将它们叠加到单个内存张量中。该方法显著改善了重建-内存的权衡，在相同的内存预算下，重建误差最多可降低 56%，下游分类性能最多可提高 16.79 个百分点。
-
新的sLoTh框架为稀疏视觉Transformer实现节能的持续学习
研究人员推出了一种新颖的框架sLoTh，专为稀疏事件驱动型视觉Transformer的参数高效持续学习而设计。该方法冻结模型骨干，并将可塑性集中在低秩注意力更新和神经元阈值调制上，仅需更新不到1%的参数。在CIFAR-100和ImageNet变体等各种数据集上的实验表明，在无需重放缓冲区的情况下，在类别增量和在线持续学习场景中均取得了有竞争力的性能。值得注意的是，与传统的密集视觉Transformer相比，sLoTh实现了约6.5倍的低能耗。
-
新的 Focal Calibration Loss 旨在提高分类器概率准确性
研究人员推出了一种新颖的深度神经网络分类器目标函数 Focal Calibration Loss (FCL)，旨在提高概率输出的置信度校准。FCL 将平方概率误差项集成到 focal loss 中，以控制后验失真。虽然 FCL 经过分类校准，但它并非总是严格的评分规则，这意味着其最优概率向量可能偏离真实后验。该研究量化了这种位移，并证明 FCL 锚点参数（$\lambda$）能有效管理这种位移，并提供校准误差的理论保证。在 CIFAR…
-
新的多重叠头自注意力提升视觉 Transformer 性能
研究人员推出了一种名为多重叠头自注意力（MOHSA）的新机制，旨在增强视觉 Transformer。与隔离注意力头的标准多头自注意力（MHSA）不同，MOHSA 允许查询、键和值在相邻头之间进行软重叠划分。这种注意力计算中的头间通信可以改善特征表示。实验表明，MOHSA 在 CIFAR-10、CIFAR-100、Tiny-ImageNet 和 ImageNet-1k 等多个基准数据集上提供了性能提升，计算成本仅略有增加。
-
新的噪声群组神经元模型提升脉冲神经网络性能
研究人员引入了一种新颖的噪声群组神经元（NGN）模型，旨在提升脉冲神经网络（SNN）的性能。该模型整合了群体同步重置和神经随机性，以应对训练深度SNN时面临的挑战，例如时空信息丢失和梯度不匹配。NGN方法结合基于平均场动力学的反向传播学习，在CIFAR-10、CIFAR-100和Tiny-ImageNet等各种数据集上取得了显著改进，在10次推理步骤内，CIFAR10-DVS的准确率达到了87.35%。
-
新的噪声群组神经元方法提高了脉冲神经网络的性能
研究人员开发了一种名为噪声群组神经元（NGN）的新方法来改进脉冲神经网络（SNN）的训练。该方法通过引入群体同步重置和神经随机性，解决了时空信息丢失和梯度不匹配等挑战。NGN 方法结合反向传播学习，在 CIFAR10-DVS 数据集上，在 10 次推理时间步内达到了 87.35% 的准确率，显示出其在高性能神经形态计算方面的潜力。
-
交叉验证改进了医疗影像AI的超参数调优
一篇新的研究论文探讨了深度学习图像分类器的超参数优化（HPO），特别是在医疗影像领域，因为该领域数据集通常较小。研究比较了三种HPO协议：固定留出法、重排留出法和5折交叉验证。结果表明，交叉验证提供了更可靠的测试性能估计，尤其是在数据有限的情况下，尽管它需要更多的计算资源。对于像Tiny ImageNet这样的大型数据集，不同协议之间的差异可以忽略不计。
-
LipCache框架通过认证缓存增强边缘图像分类
研究人员开发了LipCache，一个旨在提高边缘侧图像分类服务效率的新框架。该系统使用一个名为GuardNet的轻量级网络将输入映射到特征空间，从而实现认证语义缓存。通过根据分类边距和谱范数计算重用半径，LipCache仅在查询落在认证球内时重用缓存结果，否则回退到主模型。这种方法在CIFAR和Tiny-ImageNet等标准数据集上实现了显著的加速，同时准确性下降很小，并确保所有缓存命中都满足理论一致性条件。
-
新的深度学习模型遵循生物神经元约束
研究人员开发了一种新的、具有生物学合理性的深度神经网络学习模型，该模型遵循Dale约束，即神经元要么是兴奋性的，要么是抑制性的，而不是两者兼有，并且突触保持固定的符号。该模型使用两个相互作用的非负通道来表示正值和负值，其灵感来源于大脑的电路。该架构仅使用局部交互和Hebbian学习规则即可成功传播学习信号并更新权重，理论上可以用非负误差信号恢复反向传播更新。在实践中，这种开关架构在Tiny ImageNet基准测试上比标准网络表现出更…
-
新的DFCS方法将后门攻击效率提高了4.60% · 跟踪2个来源
研究人员开发了一种名为分布特征覆盖样本选择（DFCS）的新方法，以提高机器学习模型后门攻击的效率。这种无需训练、触发器无关的方法对预训练特征进行聚类，并从每个聚类中选择最近的样本，旨在避免冗余数据点。DFCS在各种数据集和攻击类型上展示了96.30%的高平均攻击成功率，平均比现有方法高出4.60个百分点，同时保持了干净的准确性。
-
新的影响匹配方法提高了数据集蒸馏的准确性
研究人员开发了一种名为影响匹配（Inf-Match）的新方法用于数据集蒸馏，该方法侧重于对齐模型训练的最终结果，而不是中间过程。这种方法使用了一个可微分的、样本级别的经验估计器来量化参数变化，从而能够高效地学习一个紧凑的合成数据集。Inf-Match在Tiny-ImageNet等分类基准测试中表现出卓越的准确性，其性能显著优于先前的方法，并且在Flickr30K上的视觉-语言蒸馏任务中也显示出潜力。
-
新的抗蒸馏采样保护分类模型免受知识蒸馏攻击
研究人员开发了ADS-C，一种新颖的抗蒸馏采样技术，旨在保护分类模型免受知识蒸馏攻击。与以前的方法不同，ADS-C以输入和置信度边际预算为依赖的方式扰乱模型的输出分布。这种方法可证明地保留了防御模型的top-1预测准确性，同时显著降低了在包括CIFAR-100、CIFAR-10和Tiny-ImageNet在内的各种数据集上蒸馏学生模型的性能。
-
影响匹配通过对齐训练结果来推进数据集蒸馏
研究人员推出了一种新颖的数据集蒸馏方法——影响匹配（Inf-Match），该方法侧重于对齐最终训练结果而非中间过程。此方法利用可微分的、样本级别的能力估计器来量化参数变化，而无需复杂的计算。Inf-Match 在标准分类基准测试中表现出卓越的准确性，在 Tiny-ImageNet 上优于 NCFM 等现有方法，并能有效地扩展到 Flickr30K 上的视觉-语言蒸馏任务。
-
撤稿论文将视觉 Transformer 稀疏性与数据复杂度关联起来
一篇最近被撤稿的 arXiv 论文探讨了视觉 Transformer (ViTs) 中“表征稀疏性”的现象。由 Kanishk Awadhiya 领导的研究提出，在 ViTs 中观察到的“U形”熵分布（信息在中间层被压缩）并非架构缺陷，而是数据依赖的适应。该研究分析了在不同复杂度数据集上 DINO 训练的 ViTs 的有效编码维度 (EED)，发现此瓶颈的深度与任务所需的语义抽象相关。