ResNet-18
PulseAugur coverage of ResNet-18 — every cluster mentioning ResNet-18 across labs, papers, and developer communities, ranked by signal.
8 天有情绪数据
-
ResNets 通过改变残差交互专家来隐式路由
一篇新的研究论文探讨了残差网络（ResNets）的内部工作机制，提出它们隐式地执行一种软路由。通过分析在 ImageNet 上训练的 ResNet-18 和 ResNet-34 模型，研究发现虽然所有网络块都会为每个输入执行，但这些块之间的特定交互会根据输入和预测类别而变化。这表明不同的输入利用网络内不同的“专家”交互，即使没有显式的路由机制。
-
研究论文将卷积神经网络拓扑结构与可训练性联系起来，而非仅仅层数
一篇新的研究论文探讨了卷积神经网络（CNN）的名义深度与其可训练性之间的关系，并引入了“有效深度”的概念。研究发现，虽然名义深度（层数）和有效深度都与准确率相关，但架构拓扑结构起着至关重要的作用。像ResNet和GoogLeNet这样的架构可以通过保持比其名义深度更低的有效深度来受益于增加的深度，这种现象被称为“有效深度悖论”。
-
新理论解释预训练模型中的训练-验证分离
研究人员提出了一个新的动态结构模型来解释预训练模型中训练-验证分离的出现。这种现象是指模型在训练数据上的表现与在验证数据上的表现出现分歧，其原因在于模型的适应性将其关注点从广泛可复用的特征转移到更具体的、对未见数据迁移性较差的特征上。该研究通过使用ResMLP、自然语言处理模型如RoBERTa、DeBERTa和Qwen，以及视觉模型如ResNet-18进行受控模拟，证明了可观察到的结构演变可以在无需直接访问验证示例的情况下预测这种分离。
-
新论文发现AI训练数据的价值取决于学习者
一项新的研究论文探讨了训练数据样本的价值并非绝对，而是取决于所使用的特定机器学习模型。实验表明，改变模型的架构，例如增加其宽度或改变其输入处理方式，可以显著改变哪些数据样本被认为对训练最有价值。这表明数据选择策略必须针对目标学习者进行定制，而不是依赖于通用规则。
-
新研究探索使用像素数据进行图像溯源
研究人员开发了一种新的方法来确定图像的来源，重点关注像素本身是否能揭示图像是由人类、AI 模型还是特定生成器创建的。该研究将此视为对抗性分布变化下的鲁棒性问题，为仅限图像的验证器设定了统计极限。在真实和扩散基准上的实验表明，公开的 CLIP 验证器在针对像素的攻击下失效，而 ResNet-18 模型表现出部分假到真的迁移，这表明需要评估已部署验证器的统计上限和释放的信息。
-
新的机器学习遗忘方法有望提高效率和准确性
研究人员正在开发新的机器学习遗忘方法，旨在在不完全重新训练的情况下，从已训练模型中移除特定数据的影响。一种方法是量化充分统计量（QSS），它使用冻结的模式和可变的內容进行精确的数据减法，从而降低删除延迟。另一种方法是UnAct，它采用一种无梯度技术，仅使用前向传播来衰减单元激活，即使在遗忘数据稀缺的情况下也有效，并且在效率和准确性保持方面优于现有方法。第三种技术是逆向蒸馏遗忘（IDU），它结合了数据遗忘和模型蒸馏，能够实现高效的一步生…
-
无人机音频分类：方法扩展胜过模型扩展
一篇新的研究论文探讨了在无人机（UAV）上进行音频分类时，模型大小与微调方法之间的权衡。研究发现，参数高效微调（PEFT）方法，特别是对EfficientNet-B7等大型模型进行选择性batch-norm调整，在更新极少部分参数的情况下达到了高精度。对于这项特定任务，轻量级卷积神经网络在准确性和效率方面普遍优于Transformer，这表明在数据稀缺的情况下，对于无人机音频分类而言，优化微调方法比简单地扩展模型架构更为关键。
-
FPGA平台加速用于DNN的近似乘法器评估
研究人员开发了FAME，一个利用FPGA加速深度神经网络近似乘法器评估的新平台。这种基于硬件的方法显著减少了评估乘法器设计及其对DNN推理精度的影响所需的时间，其性能比传统的基于LUT的仿真方法高出3.47倍。此外，该平台还包含一种模式引导的再训练技术，与现有的再训练方法相比，可以恢复高达65.5%的精度损失。
-
新的水印方案TwinMark保护AI模型免受蒸馏攻击
研究人员开发了TwinMark，这是一种新颖的水印技术，旨在保护AI模型免受蒸馏攻击。该方法使用两个互补的线性函数，一个基于特征协方差，另一个基于类条件logit，来嵌入秘密水印。TwinMark旨在能够抵抗各种蒸馏方法，包括KL知识蒸馏和特征匹配蒸馏，并在多个数据集和模型架构上证明了其有效性。
-
新方法增强深度神经网络插值鲁棒性
研究人员引入了Sharp Mode Connectivity (SMC)，一种用于优化深度神经网络权重空间中参数曲线的新方法。与仅确保沿轨迹低损失的标准模式连通性不同，SMC还强制要求邻近区域的低损失，从而使插值模型对分布变化更加鲁棒。该方法在ResNet-18和ViT-Tiny等模型以及CIFAR-10和ImageNet-100等数据集上得到了验证，显示出显著的准确性提升，尤其是在CIFAR-10-C等损坏情况下，甚至产生了负损失障碍。
-
新的 REQAP 方法提升了边缘设备的 DNN 效率和弹性
研究人员开发了 REQAP，一种用于优化边缘加速器上深度神经网络 (DNN) 的新颖方法。该方法结合了面向可靠性的混合精度量化框架和确定性的寄存器级打包策略。该系统旨在减少内存占用和执行周期，同时通过选择性的比特级保护来增强对硬件故障的弹性。在 AlexNet、VGG-11 和 ResNet-18 等模型上的评估显示，内存显著减少，MAC 操作次数减少，并且在故障注入下准确性弹性得到提高。
-
新研究在图像退化下比较基于OCR的VQA系统与端到端模型
一篇新的研究论文探讨了在图像因模糊或低分辨率等常见问题而退化时，以文本为中心的视觉问答（VQA）系统的有效性。该研究比较了基于OCR的模块化流程与端到端的视觉语言模型，发现经过微调的模块化系统，特别是使用SA-DBNet和ResNet-18的一个，取得了显著更高的准确性。研究还强调，传统的OCR错误指标是VQA性能的糟糕指示器，强调了进行特定任务评估的必要性。
-
新研究探讨用于心电图分析的AI模型架构和分词技术
两篇新研究论文探讨了用于改进心电图（ECG）分析AI模型的架构和分词策略。第一篇论文介绍了R-U-Net，通过优化模型的解码器组件来增强ECG描绘能力，从而显著提高准确性并优于现有基线。第二篇论文研究了ECG Transformer模型的各种分词方法，证明与标准方法相比，生理感知分词在预测性能和内存效率方面显著提升。
-
新的可调提升方案提高了ResNet-18在图像任务中的性能
研究人员开发了一种新的双正交小波滤波器组可调提升方案家族，提供了三种不同的策略来适应低通、高通或两个频率分支。这些方案采用基于格的结构设计，以确保可逆性和稳定性。当集成到用于图像分类和异常检测任务的ResNet-18模型中时，所提出的方法在各种数据集上都显示出了一致的性能提升。
-
新的基准 Infra-Bench CLS 测试基础模型在关键基础设施分类方面的能力
引入了一个新的基准 Infra-Bench CLS，用于评估地球观测基础模型在关键基础设施分类方面的有效性。该基准包含来自七大洲的 18,756 张设施规模基础设施图像，涵盖 13 个类别。与 ResNet-18 基线相比，表现最好的基础模型在宏观 F1 分数上提高了 48%，达到了 57.9%。虽然机场和数据中心等顶级类别表现强劲，但电力基础设施等领域表现不佳，表明了未来研究的方向。
-
FANS框架优化异构联邦学习中的模型架构
研究人员开发了FANS（Federated Adaptive Network Search，联邦自适应网络搜索）框架，旨在优化异构联邦学习环境中的模型架构。该方法利用超网络学习共享架构空间，超越了预定义的模型菜单。为了提高效率，引入了联邦并行缩放（FPS）算法，支持具有自蒸馏功能的多个子网络的并行训练。在CIFAR-10、CIFAR-100和MNLI数据集上的评估表明，与现有方法相比，FANS显著扩展了可行子网络的范围，并改善了准确性-效率权衡。
-
Phase transition frequency predicts ResNet accuracy in training
研究人员发现了一种新的指标“相变频率”，可以预测ResNet模型在训练过程中的测试准确率。该指标统计离散的类别可分性跳跃次数，在CIFAR-10和CIFAR-100等标准基准测试中与准确率呈强负相关。然而，在分布偏移压力下，如在TinyImageNet和CIFAR-10-C基准测试中观察到的那样，这种预测能力会减弱。进一步分析表明，虽然相变频率是训练曲线信号中的一个强预测因子，但对于受压数据集，其他方法更有效。
-
新的ARC-CT框架通过视觉语言学习增强3D胸部CT分析
研究人员开发了ARC-CT，一个新颖的对比视觉语言学习框架，专门用于3D胸部CT扫描和放射学报告。该方法通过关注局部异常并减少具有相似发现的扫描之间的假阴性，解决了标准对比学习的局限性。ARC-CT使用一个用于区域感知证据定位的AnatomyQFormer，一个考虑标签重叠的软InfoNCE目标，以及一个器官级对齐损失。该框架表现强劲，使用ResNet-18骨干网络在18种异常情况下实现了0.86的无掩码宏观AUC，优于更大的Tran…
-
新研究探索先进的机器学习遗忘技术 · 追踪4个来源
研究人员正在开发新的机器学习遗忘方法，即从AI模型中移除特定数据或知识的过程。一种名为源无关类别遗忘审计（SFRA）的方法，专注于在无法访问原始训练数据的情况下，利用合成探针和置信度过滤来恢复已遗忘类别的模型。另一种方法，CONfession-to-Forget-Set（CONFS），通过构建与模型对齐的遗忘集来解决大型语言模型（LLMs）中的遗忘集不对齐问题，以提高隐私性和可用性。此外，GRACE（梯度引导核心集选择）解决了从有限示…
-
新AI模型AURASeg增强了机器人可行驶区域的分割
研究人员开发了AURASeg，一个新颖的分割框架，旨在提高自动驾驶机器人识别可行驶区域的准确性。该框架通过增强边界定位同时保持区域级准确性来解决传统模型的局限性。AURASeg 包含一个注意力渐进上采样解码器 (APUD) 和一个残差边界细化模块 (RBRM)，以更好地结合语义上下文和高分辨率空间细节。在各种基准测试中的评估表明，其性能具有竞争力，尤其是在精确边界检测方面。