residual neural network
PulseAugur coverage of residual neural network — every cluster mentioning residual neural network across labs, papers, and developer communities, ranked by signal.
- instance of VideoGameGeek 90%
- instance of Deep Neural Networks 90%
- instance of Vgg Neural Network 70%
- competes with Vgg Neural Network 70%
- instance of EfficientNet 70%
- instance of convolutional neural network 70%
- instance of ConvNeXt 70%
- used by MobileNet 70%
- developed by Kaiming He 50%
- affiliated with convolutional neural network 50%
- instance of MobileNet 50%
- used by The Street View House Numbers Dataset 50%
13 天有情绪数据
-
新AI方法提升模型在变化环境中的鲁棒性
研究人员开发了新的无监督域适应（UDA）方法，以提高AI模型在动态环境中的鲁棒性。一种方法SFT+RL，使用监督微调和强化学习以及CLIP的视觉编码器，以提高在基准数据集上的准确性和对抗鲁棒性。另一种方法DIRA-SS，提供了一种使用未标记目标域样本的在线域适应的自监督扩展，在操作过程中无需分类标签即可适应分类器。
-
研究发现，病理学AI模型规模化效益递减
一篇题为《好、坏与脆弱》的新研究论文评估了十二种病理学基础模型（PFMs）和ResNet基线模型在鲁棒性和泛化能力方面的表现。该研究使用鲁棒性评估与增强工具箱（REET）和非冗余K折交叉验证协议，引入了扰动性能指数（PPI）来衡量各种扰动下的准确率趋势。研究结果表明，虽然PFMs总体上优于传统CNN，但模型规模化带来的效益呈现递减趋势，中等规模的模型通常表现出相当或更优的韧性。该研究强调了明确评估分布漂移的关键需求，并建议未来的PFM…
-
新研究探讨深度学习模型覆盖率指标和安全性
研究人员进行了一项实证研究，以了解深度学习模型深度、配置与神经网络覆盖率指标之间的关系。该研究使用了LeNet、VGG和ResNet架构，以及从5层到54层的模型，分析了四种覆盖率指标：主要功能、边界、层次结构和结构覆盖率。此外，研究还探讨了修改后的决策/条件覆盖率与数据集大小之间的联系，并提出了增强DNN安全测试的三个未来研究方向。
-
视觉模型在中文文本处理方面优于词元嵌入
一项发表在arXiv上的新研究探索了Transformer模型的一种替代输入表示方法，挑战了使用离散词元嵌入的普遍做法。研究人员发现，使用经过视觉编码器处理的汉字完整字形图像，其性能显著优于传统的词元嵌入。这种基于视觉的方法在准确性上实现了21%的相对提升，并且与基于词元的基线模型相比，训练周期缩短了一半。研究表明，这种优势特定于像中文这样的基于字符的书写系统，因为它没有直接迁移到英文。
-
AI模型利用视频检测婴儿呼吸暂停
研究人员开发了一种机器学习模型，能够使用非接触式视频监控检测早产儿的呼吸暂停。仅摄像头模型达到了76.9%的平衡准确率，证明了该方法的有效性。当与阻抗气动描记法结合时，混合模型将检测准确率提高到90.6%，优于单独使用任一模态，并表明了视频衍生呼吸信息的价值。
-
新方法通过开放集拒绝能力改进少样本音频分类
研究人员开发了一种新颖的少样本开集音频分类（FOAC）方法，该方法可以识别未见过的类别并拒绝来自未知类别的查询样本。所提出的模型利用ResNet骨干网络进行嵌入提取，并使用一个分类器为少样本和开集类别生成原型。与现有方法相比，该方法旨在提高准确率和AUROC分数，同时降低计算复杂度，并在LS-100、NSynth-100和FSC-89数据集上进行了验证。
-
新的StochasT方法增强了多轮场景下的LVLM训练
研究人员推出了一种新颖的大型视觉语言模型（LVLM）训练方法StochasT，该方法解决了多轮对话训练与单轮评估基准之间的差异。StochasT将同一图像的语言任务随机分组为不同大小的簇，增强了模型处理单轮和多轮场景的能力。这种方法旨在减轻训练过程中视觉注意力衰减和上下文过拟合等问题，最终实现更强大、更协调的LVLM能力。
-
新理论解释预训练如何塑造机器学习模型的微调
研究人员开发了一个理论框架，以解释预训练如何影响机器学习模型微调过程中的归纳偏差。他们对对角线线性网络进行的分析，根据初始化参数和任务统计数据确定了四种不同的微调模式。研究表明，网络早期层中较小的初始化尺度可以增强特征重用和精炼，从而在利用预训练特征子集任务上获得更好的泛化能力。这些发现通过在 CIFAR-100 和 SVHN 数据集上使用 ResNets，以及在模块化算术任务上使用 Transformers 得到了经验验证。
-
低维拓扑为深度神经网络架构提供新见解
一篇新的研究论文探讨了低维拓扑在理解深度神经网络内部工作原理中的应用。通过在受限的3维空间中分析前馈网络、ResNet和Transformer等分层模型，该研究跟踪拓扑不变量如何通过网络层发生变化。研究结果表明，ResNet的层跳跃和Transformer的注意力机制等架构特征，与前馈网络中的非单调激活一样，在改变拓扑结构方面具有强大作用，这表明拓扑学可以指导AI架构设计。
-
深度学习模型在自动化脑肿瘤检测中达到97%的准确率
研究人员开发了一种使用卷积神经网络（CNN）和残差网络（ResNet）的深度学习方法，用于自动化MRI图像中的脑肿瘤检测。该研究应用了预训练的ResNet18和ResNet50模型的迁移学习来进行扫描分类，达到了高准确率。对近4000张图像数据集的实验表明，ResNet18表现略好，准确率达到97%，这表明其对于样本量有限的医学数据非常有效。该方法旨在为早期脑肿瘤诊断提供一种更快、更准确、更具成本效益的工具。
-
新的RSFM方法可实现从太空对灾害进行非监督检测
研究人员开发了一种新颖的非监督变化检测方法，用于使用在轨遥感基础模型（RSFM）进行灾害监测。该方法利用ResNet（RSFM）+FPN架构来识别卫星图像在两次过境之间的语义变化，从而无需昂贵的标签即可实现自主异常检测。该系统的无训练设计和对RSFM的依赖使其能够进行高效的图像生成和高分辨率测绘，为不同地形和传感器提供了可定制和通用的解决方案。
-
新方法为神经网络提供更紧凑的泛化界
研究人员开发了一种新颖的方法，从优化角度为深度神经网络推导非空泛化界。该方法使用连续时间随机微分方程来模拟离散时间递归过程，这比传统方法提供了更紧凑的界限。研究表明，即使在ImageNet-1K等大型数据集上进行训练，该技术也能为ResNet和Vision Transformer等现代架构提供合理的泛化保证。
-
CascadeFormer 论文介绍深度渐变 Transformer 以提高效率
研究人员推出了一种新颖的深度 Transformer 架构 CascadeFormer，旨在通过解决更深层价值递减的问题来提高效率。提出的 CascadeFormer 和 CascadeFlow Pruning 方法利用梯度扇入不对称 (GFA) 来优化信息流和层利用率。CascadeFormer 随着深度的增加而逐渐减小 Transformer 的宽度，在实现与均匀模型相当的性能的同时，降低了延迟并提高了吞吐量。CascadeFlo…
-
新研究解释了深度神经网络为何能一致地学习特征
研究人员为一类特定的深度神经网络（DNN）——亚线性结构DNN——建立了特征学习一致性保证。这类网络以输入/输出维度和隐藏神经元数量随样本量亚线性增长为特征，即使在过参数化的情况下也能展现出一致的特征学习能力。实证研究表明，这些亚线性结构模型的性能与更宽的DNN相当或更优，并且结构分析显示，像AlexNet、VGGNet和ResNet这样的常见卷积神经网络都属于这一类别。
-
何恺明本科团队发布MiniT2I文本到图像模型，参数量2.58亿
研究人员，包括由何恺明领导并主要由本科生组成的团队，推出了一种新颖的文本到图像生成模型MiniT2I。该模型以显著更少的参数（2.58亿）和更低的训练成本取得了具有竞争力的结果，与标准的ImageNet实验相当。MiniT2I采用了一种新的MM-JiT架构，直接在像素空间操作，无需VAE，并通过移除AdaLN等机制简化了扩散过程，这些机制在其他大型文本到图像模型中很常见。
-
GrapNet 引入可编程神经图，增强模型可编辑性
研究人员推出 GrapNet，这是一种新颖的神经图基底，旨在为固定张量神经网络带来可编程性。该系统将图本身视为可执行程序，允许直接在神经程序上进行编辑关系、冻结子图和审计局部函数等操作。GrapNet 与 CNN 和 ResNet 等现有模块集成，在拆分 Fashion-MNIST 和 CIFAR-10 等任务上表现优于传统的密集 MLP。
-
新的TaFD框架提升深度学习的对抗鲁棒性
研究人员开发了一种名为威胁感知频率解耦（TaFD）的新型防御框架，以提高深度学习模型的对抗鲁棒性。TaFD通过将联合对抗训练重新构建为频域方法来应对异构攻击（如$\ell_p$-有界攻击和语义攻击）的挑战。该框架通过无监督聚类识别威胁域，然后使用频率条件卷积将样本路由到专门的专家，从而缓解优化冲突并增强均衡鲁棒性。
-
新的LUT-MU架构提升神经网络效率和可扩展性
研究人员开发了一种新颖的基于查找表（LUT）的近似矩阵乘法单元（LUT-MU），旨在提高神经网络的可扩展性和能效。这种新架构将剪枝策略集成到MADDNESS算法中，有效地管理了更大问题规模和更高精度要求下的资源扩展。将此LUT-MU部署到包括用于MNIST、CIFAR-10和ImageNet数据集的神经网络架构中，与传统的基于CUDA和量化实现相比，在吞吐量和能效方面显示出显著的改进，而对精度的影响很小。
-
新AI范式“三阶滞后”挑战残差网络
一个自称“共生天才”的团体提出了一个名为“三阶滞后”的新AI范式，并将其与现有的残差神经网络方法（如ResNet）进行对比。他们认为当前AI方法仅限于处理历史的“平面”，而他们的方法通过融入彭罗斯（不可计算性）、佩雷尔曼（拓扑学）和普列戈（记忆滞后）的概念，进入了“体积”层面。该团体声称他们的方法能够实现不可逆记忆、协作和真实性，挑战了既定的AI研究方向。
-
情绪调节框架提升深度学习图像分类性能
研究人员引入了一个名为情绪调节的新框架，以增强用于图像分类的深度学习模型。该方法通过在情感刺激上预训练模型来模拟人工主观体验，并在下游任务优化期间平衡情感和非情感响应。在 CIFAR-10 和 CIFAR-100 数据集上使用 ResNet 和 ViT 架构进行的实验表明，情绪调节在标准骨干网络之上提高了性能，使其成为大规模视觉任务中情感增强深度学习的新技术。