ResNet-18
PulseAugur coverage of ResNet-18 — every cluster mentioning ResNet-18 across labs, papers, and developer communities, ranked by signal.
12 天有情绪数据
-
新的DeltaMomentum优化器加速深度学习训练
研究人员推出了一种新颖的深度学习优化器动量更新方法——DeltaMomentum。与使用固定指数移动平均率的传统方法不同，DeltaMomentum根据特定方向梯度更新的频率动态调整遗忘率。这种受线性层梯度结构启发的基于键值对的方法旨在更有效地清除陈旧方向并提高训练速度。实验表明，DeltaMomentum的实现版本DeltaAdamW在包括大型语言模型和图像分类任务在内的各种模型规模和数据集上，与标准的AdamW相比，在显著更少的步…
-
新技术提高了视觉模型差分隐私训练的准确性
研究人员开发了一种名为谱梯度正交化（SGO）的新技术，以提高视觉模型差分隐私训练的准确性。该方法解决了隐私训练中添加的各向同性高斯噪声会破坏梯度信息的问题，尤其是在视觉模型常见的低秩子空间中。SGO作为一种后处理步骤，在不损害隐私的情况下从噪声梯度的结构中恢复方向信号。SGO的有效性取决于信噪比（SNR），在高容量模型和大批量大小下显示出显著的改进，而在低SNR环境下，标准的DP-SGD或时间去噪可能更合适。
-
交叉验证改进了医疗影像AI的超参数调优
一篇新的研究论文探讨了深度学习图像分类器的超参数优化（HPO），特别是在医疗影像领域，因为该领域数据集通常较小。研究比较了三种HPO协议：固定留出法、重排留出法和5折交叉验证。结果表明，交叉验证提供了更可靠的测试性能估计，尤其是在数据有限的情况下，尽管它需要更多的计算资源。对于像Tiny ImageNet这样的大型数据集，不同协议之间的差异可以忽略不计。
-
新研究比较了AI分布外检测的训练目标
一篇新的研究论文系统地比较了图像分类中分布外（OOD）检测的四种训练目标。该研究使用OpenOOD协议和ResNet-18模型评估了交叉熵损失（Cross-Entropy Loss）、原型损失（Prototype Loss）、三元组损失（Triplet Loss）和平均精度（AP）损失。结果表明，虽然交叉熵损失、原型损失和AP损失在分布内准确率方面表现相似，但交叉熵损失通常提供最一致的OOD检测性能。
-
新的Uniform Herding方法改进了类增量学习
研究人员推出了一种用于类增量学习中示例回放的新方法Uniform Herding。该技术旨在通过管理一个有限的活动示例集并从候选池中刷新选定的示例，来在特征表示演变时保持早期类别的性能。在CIFAR-100上使用ResNet-18骨干网络进行的实验表明，与iCaRL方法相比，Uniform Herding实现了更高的最终平均准确率并减少了遗忘。
-
新框架评估神经网络全局最优性
一篇新研究论文介绍了“训练面临挑战”（Training Under Challenge），这是一个旨在超越简单训练曲线评估神经网络全局最优性的框架。这种可执行证书方法使用预先声明的过程来构建替代候选者并重新评估目标，提供界定经验全局最优性差距的见证。该框架包括一个资源索引的挑战功率模数，用于表征与通过兼容的最大差距，并已在 ResNet-18 蒸馏问题上展示了其效用，得出了接近真实差距 1.74-3.02 倍的界限。
-
新数据集和模型推动手语手势识别发展
研究人员开发了一个用于手语精细孤立手势识别的新数据集和基线模型，并利用了HamNoSys记谱系统。该数据集包含来自15名参与者的144,000张RGB图像，涵盖160个手势类别。使用ResNet-18和ViT-B/16等模型进行的评估在受试者相关测试中展示了可复现的性能，但在泛化到未见过受试者时性能显著下降，凸显了创建无障碍手语技术的挑战。
-
新的MAGIC-SSCIL框架改进了半监督增量学习
研究人员推出了一种新颖的框架MAGIC-SSCIL，旨在解决神经网络中半监督类增量学习（SSCIL）的重大挑战，特别是在无法存储过去数据的情况下。该框架采用两个关键组件：使用基于图的标签传播来加权和校准类别均值和方差的软加权几何校准（SWGC），以及通过匹配学生和教师头并对齐特征原型来维持表示拓扑的几何结构对齐（GSA）目标。MAGIC-SSCIL采用冻结的ResNet-18骨干网络和可学习的适配器实现，在各种数据集和标签比例下，尤其…
-
穿孔AI增强ResNet-18，使其性能媲美ResNet-34
Perforated AI开发了一种技术，可以增强ResNet-18模型的性能，使其准确性达到与更大的ResNet-34相当的水平。该方法受生物过程启发，以最小的额外计算成本实现了改进的结果。该公司旨在证明AI模型可以同时具备更小的体积和更高的智能，以满足计算预算有限的用户的需求。
-
新研究探索先进的联邦学习技术 · 跟踪10个来源
2026年8月在arXiv上发表的多篇研究论文介绍了增强联邦学习（FL）和去中心化FL的新方法。这些方法解决了多模态FL中的模态缺失（Flux）、非凸复合优化（DEPOSITUM）、对抗隐形攻击者的鲁棒声誉机制（R2CFL）、用于收敛的自适应层级学习率（FedA2L）、平衡数据质量和数量（FedTVD）、非IID数据的基于损失的加权（FedLBW）、绕过聚合防御（Krum-Proxy攻击）、子模型FL中的容量分配（HAS-FL）、基于…
-
新分析量化了SAM对平坦最小值的偏差
研究人员分析了Sharpness-Aware Minimization (SAM)在改善模型泛化能力方面的隐式偏差。他们的线性稳定性分析揭示了SAM的扰动半径($\rho$)、批量大小($b$)和学习率($\eta$)之间的定量关系，表明这些参数会影响SAM所寻求的最小值的平坦度。在ResNet-18和VGG-19模型上对CIFAR-100进行的实验验证了这些发现，表明增加$\rho$与更小的Hessian特征值相关。该研究还引入了T…
-
基于形状的AI提高了胶质瘤分级准确性
研究人员开发了一种新颖的基于形状的方法，利用肿瘤轮廓进行胶质瘤分级，其性能优于传统的基于像素的方法。该方法对闭合轮廓进行对齐，并将全局变形与残余傅立叶形状分离，在BraTS 2020数据集上实现了71.5%的平均平衡准确率。所选的多层感知机（MLP）模型使用的参数明显少于像素基线，显示出更好的可解释性和可扩展性。
-
新的DECAF方法通过破坏数据聚类来增强机器学习遗忘
研究人员推出了一种新颖的后验机器学习遗忘方法DECAF，旨在通过专门针对和破坏与遗忘数据相关的残余特征空间结构来增强隐私和自适应部署。与现有方法不同，DECAF仅在遗忘集上操作，结合输入噪声、置信度抑制和基于熵的输出多样化，以有效打破聚类攻击。在CIFAR-10上使用ResNet-18进行的实验中，DECAF实现了0.10%的遗忘类别准确率和79.4%的保留准确率，与其他基线相比，展示了卓越的性能和效率。
-
新的DECAF方法增强了机器学习的去学习能力，以抵御聚类攻击
研究人员开发了DECAF（DE-Clustering for Adaptive Forgetting），一种新颖的后验机器学习去学习方法，旨在防止通过聚类攻击进行数据恢复。该方法仅作用于数据的“遗忘集”，利用输入噪声、置信度抑制和基于熵的输出多样化来拆解与已移除数据相关的残余特征空间结构。在CIFAR-10数据集和ResNet-18模型上的实验证明了DECAF的有效性，遗忘类别的准确率达到0.10%，保留类别的准确率达到79.4%，并…
-
新研究质疑机器学习遗忘的有效性
一篇新的研究论文对基于显著性的权重选择在机器学习遗忘中的有效性提出了质疑。研究发现，最终网络层中的梯度集中度，而非显著性掩码所选定的特定权重，是表示层面遗忘的主要驱动因素。在 CIFAR-10 和 CIFAR-100 数据集上使用 ResNet-18 模型进行的实验表明，随机掩码的表现与基于显著性的掩码相当，这表明当前的遗忘方法可能需要更多地关注潜在表示目标。
-
新研究通过谱控制和低秩方法解决联邦微调问题 · 跟踪2个来源
两篇新研究论文提出了用于联邦参数高效微调（PEFT）的新颖方法，以解决通信瓶颈并提高模型在去中心化数据上的性能。第一篇论文介绍了TRISHUL，一个谱控制框架，它使用共享的冻结基和核范数收缩来稳健地聚合客户端更新，在LLaMA3.2-1B的视觉和语言基准测试中显示出收益。第二篇论文提出了FLITE，它利用带有低秩分解和增量公式的映射网络，实现了通信负载的大幅减少，在CIFAR-100和ResNet-18上表现强劲，即使在极端数据压缩下也是如此。
-
TinyGLASS 实现边缘设备的实时片上传感器异常检测
研究人员开发了 TinyGLASS，这是 GLASS 框架的一个轻量级改编版本，用于资源受限的边缘设备的实时、自监督异常检测。这种新架构采用了紧凑的 ResNet-18 主干网络，并对静态图跟踪和 INT8 量化进行了修改，使其能够部署在索尼 IMX500 等片上传感器处理器上。TinyGLASS 在保持竞争力的性能的同时实现了显著的参数压缩，在严格的内存限制下以 20 FPS 运行，并展示了低功耗。
-
新的正交梯度方法探索神经网络中的带噪标签记忆
一篇新研究论文介绍了一种名为 OrthoGrad 的方法，该方法通过移除每个权重梯度平行于当前权重向量的分量来修改优化器的更新。这种几何干预在带噪标签图像分类任务上进行了测试，在小数据环境下通过减少对损坏标签的拟合，提高了卷积神经网络（CNN）在 MNIST 数据集上的测试准确率。虽然 OrthoGrad 可以改变记忆轨迹，但在 CIFAR-10 和 ResNet-18 上的实验表明，它最终并不能阻止带噪标签的记忆，这表明其有效性取决于学习机制。
-
新方法利用质心增强深度神经网络的容错能力
研究人员开发了一种新颖的以质心（CoG）为导向的权重校正方法，以增强用于安全关键应用的深度神经网络（DNN）的容错能力。该技术通过分析每层内权重的空间特征来恢复损坏的权重，而无需重新训练或更改架构。实验表明，在各种网络（包括基于LSTM的模型如StageNet和MTFNet，以及CNN如ResNet-18和VGG-16）中，即使在高比特错误率下，容错能力也得到了显著提高。
-
受 A* 启发的批选择可加速 CNN 训练
研究人员开发了一种名为 A*-Inspired Batch Selection (A*-BS) 的新方法，以提高卷积神经网络 (CNN) 训练的效率。这种模型无关的策略将小批量调度视为一个启发式搜索问题，根据难度和重复使用惩罚的组合对批次进行排名。在 MedMNIST-v2 基准测试上的实验表明，A*-BS 可以实现更快的收敛速度和更高的准确性，甚至在多项任务上优于更深的 ResNet 架构。该方法可以无缝集成到现有的训练流程中，而无…