ResNet-32
PulseAugur coverage of ResNet-32 — every cluster mentioning ResNet-32 across labs, papers, and developer communities, ranked by signal.
-
物理启发的优化器在稳定性极限之外展现周期二轨道
研究人员探索了用于深度学习的物理启发的优化器,重点关注它们在稳定性极限之外的行为。他们识别出周期二轨道,如果优化器的弹性在特定范围内,则可以维持稳定性。研究还发现,延迟不稳定性,类似于Neishtadt的慢扫描分岔理论,可以准确描述神经网络中的动力学。在MLP和ResNet上的实验支持了这些理论发现,表明匹配有效学习率可以复制一些观察到的好处。
-
新方法审计训练标签以防后门攻击
研究人员开发了一种审计机器学习模型中训练标签的新方法,重点关注像FLIP这样的仅标签后门攻击。他们的方法包括通过在保留的标签上重训受害者模型来评估防御措施,并分析来自未暴露于任何标签的空间的特征。此方法旨在通过区分特征空间的质量和防御机制本身的有效性,为模型安全性提供更稳健的评估。
-
新研究揭示动态张量重构在深度神经网络训练中存在不稳定性
研究人员在动态张量重构(DTR)中发现了确定性不稳定性与可行性反转,DTR 是一种在内存受限情况下训练深度神经网络的逐出策略。他们使用执行跟踪在参考模拟器上进行的分析显示,内存预算的微小差异可能导致执行速度的巨大差异,甚至引发内存不足错误。研究表明,这些问题源于 DTR 中特定的评分项,表明存在不同的病理而非单一的根本机制。
-
新研究比较长尾图像分类的最小批次采样策略
一项新的arXiv研究调查了长尾图像分类任务的最小批次采样策略,重点关注CIFAR-100-LT数据集。研究人员使用ResNet-32比较了均匀实例采样、类别平衡采样、平方根采样和渐进平衡采样。研究结果表明,渐进采样显著提高了尾部类别的准确性,在高不平衡率下比均匀基线相对提高了25%,同时没有损害整体准确性。
-
新剪枝方法增强了加密神经网络的可靠性
研究人员开发了一种名为多项式敏感度感知剪枝(PSAP)的新方法,以提高使用同态加密(HE)加密的神经网络的可靠性。PSAP 考虑权重大小、多项式激活敏感度和旋转成本来剪枝滤波器,将剪枝集中在容错区域。与标准的幅度剪枝相比,即使在比特翻转注入下,该方法也能显著减少易受灾难性精度下降影响的层数,并为可靠性测试提供了一个保守的代理。