CIFAR-100
PulseAugur coverage of CIFAR-100 — every cluster mentioning CIFAR-100 across labs, papers, and developer communities, ranked by signal.
- used by ResNet-18 90%
- instance of Class Incremental Learning 90%
- instance of Tiny-ImageNet 70%
- used by Tiny-ImageNet 70%
- instance of ResNet-18 70%
- used by Imagenet 1k 70%
- instance of ScienceCast 70%
- instance of residual neural network 70%
- used by federated learning 70%
- instance of ImageNet-100 70%
- used by ImageNet-100 70%
- used by residual neural network 70%
12 天有情绪数据
-
新的框架 DRO-Augment 通过 Mixup 增强提高了神经网络的校准性能
研究人员开发了 DRO-Augment，这是一个旨在提高深度神经网络在使用基于 Mixup 的数据增强时的校准性能的新框架。该方法集成了 Wasserstein Distributionally Robust Optimization (W-DRO)，以解决增强性能越强、对抗损坏数据的鲁棒性越好，但校准误差越大的权衡问题。DRO-Augment 在 CIFAR-10 和 CIFAR-100 等数据集上显著降低了校准误差，同时保持了准确…
-
新框架分析增量学习中的偏差与类别对应关系
这项研究论文介绍了一个新框架，用于分析 logit replay 方法在类别增量学习中的有效性。所提出的方法区分了可纠正的偏差和类别对应关系，并评估了它们对模型性能的贡献程度。通过区分存储示例时所做的预测和之后所做的预测，该框架旨在更好地理解和减轻 AI 模型中的灾难性遗忘。
-
新的优化器KO通过动力学理论增强神经网络精度
研究人员推出了一种新颖的神经网络优化模块KO（Kinetics-inspired Optimizer），该模块从动力学理论和偏微分方程中汲取灵感。这个即插即用的模块通过源自玻尔兹曼输运方程的随机相互作用来增强标准的梯度更新，旨在提高参数多样性并防止权重凝结，从而可能降低泛化能力。在CIFAR-10/100和ImageNet等图像分类基准以及大规模语言模型预训练上的理论分析和实验结果表明，与现有方法相比，KO在计算开销极小的情况下提高了准确性。
-
新的TARE方法可准确衡量AI后门防御成本
一篇新研究论文介绍了一种名为TARE的方法，旨在更准确地评估AI模型中后门防御的成本。传统方法衡量干净准确率的下降，这可能具有误导性，因为它无法区分防御对模型的影响和后门的实际移除。TARE通过在一个“永不被投毒的双生模型”上运行防御来解决这个问题，从而允许研究人员通过衡量双生模型损失的性能来分离防御的真实成本。该论文还提供了诸如签名TARE列和TARE-Z（用于种子稳定防御的估计器）等工具，以改进这些安全措施的评估。
-
新的PI-SME方法增强了联邦学习中的梯度反演攻击
研究人员开发了一种名为路径积分代理模型扩展（PI-SME）的新方法，以改进联邦学习中的梯度反演攻击。该技术将客户端的模型更新视为梯度场的路径积分，并使用沿可学习贝塞尔曲线的高斯-勒让德求积法进行近似。PI-SME旨在通过分析客户端初始和最终模型状态之间轨迹上的多个点，比现有方法更准确地重建私有输入数据。在CIFAR-100和FEMNIST数据集上的实验表明，PI-SME在各种条件下都能有效地忠实重建私有输入。
-
新理论解释并缓解了AI架构中的表征坍塌问题
研究人员开发了一个新的理论框架，用于理解和缓解联合嵌入预测架构（JEPAs）中的表征坍塌问题。通过分析早期训练过程中的梯度流，他们识别出影响稳定性的驱动和衰减的竞争效应。该分析促成了ResidualPred的引入，这是一种Transformer预测器，在各种基准测试和I-JEPA预训练中提高了下游准确性。
-
新的脉冲自注意力方法减少了训练-推理不匹配
研究人员开发了一种名为并行时序对齐脉冲自注意力机制（PT-SSA）的新方法，以解决脉冲神经网络训练和推理中的差异。该方法重建虚拟脉冲切片并并行计算注意力，显著减少了训练和推理之间的不匹配。自适应版本Adaptive PT-SSA通过学习重缩放因子进一步提高了性能，在CIFAR-100和ImageNet-1K等基准测试中取得了显著的准确性提升。
-
研究论文质疑AI分布外检测的增益膨胀问题
一篇新发表在arXiv上的研究论文质疑了计算机视觉领域中分布外（OOD）检测方法所报告的膨胀增益的有效性。该研究认为，许多OOD检测器并非真正识别新颖数据，而是识别用于拟合的特定数据集的身份。研究人员通过保留整个OOD数据集而非仅样本，证明了这一点，揭示了大多数报告的增益是由于数据集身份，而非真正的imerick 检测。该论文提出了一个封闭形式的解决方案来计算这种膨胀，并建议仅在指定的验证数据集上进行简单的常数拟合仍然是可靠的。
-
新的正则化器通过隔离噪声来提高AI模型性能
研究人员开发了新的正则化器，通过在训练期间强制执行信号-噪声分解（SNF）和信号-信号分解（SSF）来提高深度神经网络的性能。在CIFAR-100上的实验表明，增强SNF可以提高模型准确性，而增强SSF并未带来类似的收益。在带有MedMNIST-C损坏的BloodMNIST数据集上进行的进一步测试表明，SNF正则化器在处理分布外图像失真方面具有显著的性能提升，通过将干扰变化隔离到不同的子空间中来证明其有效性。
-
新的TPKD方法增强了AI模型超越模仿的知识迁移
研究人员开发了一种名为任务保留知识蒸馏（TPKD）的新方法，旨在提高AI模型之间知识迁移的效率。与专注于精确模仿教师模型概率输出的传统方法不同，TPKD侧重于保留核心学习任务。这种方法使学生模型能够更有效地学习，即使它们在某些方面已经超越了教师模型，通过确保学生模型保持其在区分正确类别与错误类别方面的优势。实验表明，与标准蒸馏技术相比，TPKD在CIFAR-100和CLINC150等基准数据集上取得了更高的准确率。
-
研究论文质疑对比学习中共享温度的假设
一篇新的研究论文探讨了概率对比学习中共享温度与角度尺度之间的关系，特别是在高维设置下。该研究使用 von Mises-Fisher (vMF) 概率分数，证明了共享温度并不一定意味着类别表示共享相似度尺度。该研究准确预测了在 CIFAR-LT 和 ImageNet-LT 等真实世界数据集上的决策边界和特征梯度的变化，表明 vMF 浓度在此领域中的决策和学习尺度中起着至关重要的作用。
-
新的前向目标传播方法为反向传播提供了替代方案
研究人员推出了一种新颖的神经网络训练方法——前向目标传播（FTP），该方法绕过了传统反向传播算法。FTP 利用仅前向传播来局部分配误差信用，使其在生物学上更合理，并且对硬件更有效。初步评估表明，FTP 在 MNIST、CIFAR-10 和 CIFAR-100 等标准数据集上实现了具有竞争力的准确性，同时在低精度环境中也表现出卓越的性能，并具有在设备上进行节能学习的潜力。
-
新研究质疑路由熵作为人工智能模型中可靠不确定性信号的有效性
研究人员调查了注意力残差Transformer中的路由熵是否可以作为模型固有置信度之外的不确定性信号。他们对在CIFAR-10/100数据集上训练的Swin-Tiny和DeiT-Small模型进行了审计，发现与仅置信度预测器相比，路由迹线不能一致地预测正确性或提高校准。虽然一些证据表明相对于打乱的迹线有所提升，但这并未转化为比模型输出置信度更实用的优势。该研究建立了依赖于控制的增益和不完整的估计器恢复，表明虽然条件路由信息可能存在，但…
-
新的编码方法增强了脉冲神经网络的对抗鲁棒性
研究人员开发了一种名为可控随机量化编码的新方法，以提高脉冲神经网络（SNNs）的对抗鲁棒性。该技术在输入编码阶段引入了可控的随机性，已被证明比单独的现有基于训练的防御更有效。该方法概括了现有的编码技术，并在CIFAR-10和CIFAR-100图像分类任务上取得了积极成果。
-
新的LESS方法将神经网络架构搜索时间缩短至数分钟
研究人员开发了一种新颖的神经网络架构搜索方法LESS（Lightweight Evolutionary Supernet Search），该方法显著减少了计算时间。通过结合简短的热身和CMA-ES分布下的离散搜索，LESS能在数分钟内（仅为先前方法所需时间的一小部分）在CIFAR-10等基准测试中达到具有竞争力的准确率。该方法在不同数据集和搜索空间（包括更大的DARTS空间）中都显示出有效性，突显了其效率和广泛的适用性。
-
新的反事实距离方法改进了AI的分布外检测
研究人员开发了一种新的事后方法，用于机器学习系统的分布外（OOD）检测，名为反事实距离（Counterfactual Distance）。该技术利用反事实解释来计算输入数据到决策边界的距离，从而增强了AI模型的安全性和可解释性。该方法在基准数据集上表现强劲，在CIFAR-10、CIFAR-100和ImageNet-200上取得了最先进的结果，AUROC和FPR95得分尤为突出。
-
新的SRTS-BCE方法在数据有限的情况下提高了AI分类器的校准性能
研究人员开发了一种名为信号路由温度缩放（SRTS-BCE）的新方法，用于提高AI分类器的校准性能，特别是在验证数据有限的情况下。该技术引入了一种低容量、风险条件的校准器，在校准预算较小时，其性能优于传统的标量方法，甚至优于更高容量的自适应方法。SRTS-BCE在CIFAR-100等数据集上使用ViT-B/16等模型取得了更好的性能，证明了其在数据受限场景下的有效性。
-
新的机器遗忘方法Unmerge和ReGUn提高了效率和数据隐私
研究人员开发了两种新的机器遗忘方法，该过程可以在不完全重新训练的情况下从训练模型中移除特定数据的影响。第一种方法Unmerge将遗忘重新构建为任务算术，通过减去学习到的遗忘分量来恢复原始任务向量。该技术在各种模型和数据集上都显示出效率和有效性，提高了性能指标并降低了遗忘的难度。第二种方法是参考引导遗忘（ReGUn），它侧重于分布不可区分性，利用保留的样本引导模型在遗忘数据上的预测行为接近真正未见过的数据。
-
DeepFedNAS 为异构物联网联邦优化神经网络架构
研究人员开发了 DeepFedNAS，一个旨在优化异构物联网（IoT）联邦的神经网络架构的新型框架。这种利用帕累托引导的超网络训练和无预测器搜索的两阶段方法，与现有的联邦神经架构搜索（FedNAS）方法相比，显著降低了计算成本和时间。DeepFedNAS 在各种数据集上即使在非独立同分布（non-IID）条件下也展示了最先进的准确性和稳健的性能，使其成为可扩展、通信受限的物联网环境的实用解决方案。
-
新型 Quat-Sphere-Vision 模型使用单一四元数进行注意力计算
研究人员推出了一种新颖的稀疏球形视觉模型 Quat-Sphere-Vision (QSV)，该模型为注意力机制的每个 token 使用一个单一的学习单元四元数。这种方法用一个四元数取代了传统的三个学习投影 (W_Q, W_K, W_V)，该四元数同时处理注意分数和特征传输。在 CIFAR-10 和 CIFAR-100 数据集上的实验表明，移除特征传输组件会将测试准确率降低约四个百分点，而用均匀平均替换学习到的注意力权重则影响微乎其微。