Deep Neural Networks
PulseAugur coverage of Deep Neural Networks — every cluster mentioning Deep Neural Networks across labs, papers, and developer communities, ranked by signal.
13 天有情绪数据
-
物理学研究将深度神经网络构建为格点规范理论
研究人员开发了一个新颖的框架，将深度神经网络概念化为格点规范理论，并借鉴了高能物理学的类比。该方法修改了现有的神经网络/量子场论对偶性，以纳入神经网络的层状排列对称性。在此模型中，每个神经元层充当格点站点，权重矩阵充当规范场。该研究详细介绍了神经元-神经元传播子的计算，并引入了用于1/N微扰分析的费曼图机制，为理解深度网络中的信息传播提供了理论基础。
-
$TCP_α$ 方法增强了 AI 在音乐检索中的置信度估计 · 跟踪 2 个来源
研究人员推出了一种新颖的 $TCP_α$ 方法，用于改进深度神经网络中的置信度估计，特别是在音乐信息检索任务中。该方法通过引入边距控制的误分类样本惩罚，解决了 AI 模型普遍存在的过度自信问题，确保正确和不正确的预测之间有清晰的界限。该方法在 rāga 识别和装饰音检测等任务上进行了评估，证明了其在改进失败预测和在领域转移下恢复性能方面的有效性，且只需少量标记数据。
-
新的基于概念的多样性方法提高了DNN微调效率
研究人员开发了一种名为基于概念的多样性（CBD）的新方法，用于高效地选择用于微调深度神经网络（DNN）的信息性数据子集。该方法利用视觉语言模型（VLMs）来衡量输入多样性，与几何多样性等现有方法相比，显著降低了计算成本。一种结合CBD和称为Margin的不确定性度量的混合方法在改进ImageNet等各种数据集上的DNN模型方面表现出优越的性能，同时保持了计算效率。
-
综述详述深度神经网络上的模型逆向攻击
一篇新的综述论文详述了模型逆向攻击（MIAs），该攻击可以利用深度神经网络来重建训练数据或推断敏感信息。这些攻击在包括图像、文本和图在内的各种数据类型上都很有效，对已部署模型的隐私构成了重大担忧。该综述综合了关于MIAs及其对策的现有研究，并根据攻击者知识、目标重建以及隐私-效用权衡比较了不同的方法。
-
新研究将持续学习的范畴从遗忘和可塑性扩展 · 追踪5个来源
近期研究探索了持续学习的新方面，超越了灾难性遗忘和可塑性丧失等传统挑战。一篇论文引入了“数据共观测”作为一个独立因素，证明了训练数据的同步观测能够带来超越单纯知识保留的泛化优势。另一种方法，Harness Continual Learning (HCL)，提出通过核心模型之外的组件（如提示和记忆）来调整智能体，以提高性能并保留早期行为。进一步的研究调查了“表示流”（representation flux），这是一种衡量样本级表示在学习…
-
新的机器学习方法融合物理学和数据以改进敏感性分析
研究人员开发了新的物理信息机器学习策略，通过有效地结合基于物理的模型和实验数据来改进全局敏感性分析（GSA）。该研究探讨了两种机器学习技术：深度神经网络（DNN）和高斯过程（GP）建模，以及两种整合物理知识的方法：在损失函数中强制执行物理约束，以及使用模拟数据进行预训练，然后使用实验数据进行更新。结果表明，与GP模型相比，基于DNN的模型在敏感性估计上提供了更小的界限，并在增材制造和湖泊温度建模中展示了应用。
-
新的ORCU损失统一了深度神经网络的校准和单峰性
研究人员引入了一种名为序数校准和单峰性损失（ORCU）的新方法，以解决深度神经网络中过度自信和校准不准确的预测问题，特别是在序数分类任务中。ORCU将距离感知软编码与序数感知对数障碍扩展相结合，旨在提高置信度校准，同时不牺牲准确性或需要架构更改。ORCU在四个基准测试中进行了测试，据报道在校准方面取得了最先进的成果，并为评估该领域的损失函数建立了一个新的可复现基准。
-
新的XAI方法增强了遥感图像分割的透明度
一种新的可解释人工智能（XAI）方法已被开发出来，以提高用于遥感图像分割的AI模型的透明度。这种以熵为中心的方法旨在深入了解这些“黑箱”模型的决策过程，这对于建立信任和在关键应用中实现更广泛的采用至关重要。所提出的XAI方法还包括一种新颖的评估方法，用于评估突出显示区域的相关性，在语义分割任务上展示了优于现有XAI技术的性能。
-
深度神经网络展现出对新物体方向的涌现泛化能力
研究人员提出了证据，表明深度神经网络（DNN）能够泛化到识别训练数据中不存在的物体方向。这种能力似乎随着训练中使用的熟悉物体的数量增加而增强，特别是当这些物体以熟悉方向的二维旋转形式呈现时。研究表明，这种泛化是由对熟悉和不熟悉物体之间共同特征进行调整的神经元促进的，表明存在类似大脑的神经机制在起作用。
-
新的DA-DJSCC方法增强了物联网设备的语义图像通信
研究人员开发了一种名为双自适应DJSCC（DA-DJSCC）的新方法，以改进物联网（IoT）设备的语义通信。该方法通过结合通道注意力和空间注意力模块来增强现有的深度联合源信道编码（DJSCC），这些模块可以动态适应变化的无线条件和特征重要性。DA-DJSCC旨在克服为不同信噪比（SNR）训练独立模型的挑战，使其更适用于资源受限的物联网环境。
-
新研究为神经网络训练提供理论收敛保证
两篇新研究论文探讨了神经网络训练的理论基础。第一篇论文通过引入广义 Lipschitz 光滑性条件，为通用前馈神经网络中的梯度下降建立了收敛保证。第二篇论文提出了一种深度神经网络训练的统一优化框架，通过 Legendre 函数和共轭变换推广了凸性和光滑性，并引入了具有理论收敛率的广义梯度下降和 SGD。
-
新的几何方法对抗深度神经网络中的捷径学习
研究人员开发了一种新颖的几何方法来对抗深度神经网络中的捷径学习，这种现象会导致模型记住虚假的相关性而不是因果机制。通过使用“拓扑审计器”，他们可以在没有手动干预的情况下数学上识别和修剪线性捷径。这种方法迫使网络利用更高的几何容量来学习道德表征，在减少人口统计学偏差方面优于 L1 正则化和 Just Train Twice 等现有方法。
-
新型防御可检测深度神经网络中的对抗性攻击，准确率达99.9%
研究人员开发了一种检测深度神经网络（DNN）中对抗性攻击的新颖方法，这些DNN用于自动驾驶系统。该方法利用多个视觉任务（如目标检测和实例分割）之间的一致性来识别对抗性扰动。所提出的防御措施在BDD100k数据集上针对PGD攻击实现了高检测率，ROC-AUC为99.9%，与现有方法相比，提供了更具成本效益的解决方案。
-
Google研究员认为深度网络学习的是原理，而非仅仅记忆
Google研究员Matthieu Wyart提出了一个理论，认为深度神经网络在执行复杂任务时不需要进行广泛的记忆。他的研究提出，这些网络可以通过学习基本原理而非仅仅存储大量数据来有效地泛化。这一观点挑战了关于深度学习模型如何实现其能力的某些传统理解。
-
新框架SeFaR增强了视觉模型的语义鲁棒性测试
研究人员开发了SeFaR，一个用于系统性测试视觉模型的新型框架。该方法侧重于语义鲁棒性，确保深度神经网络即使在遇到罕见或代表性不足的场景时也能可靠运行。SeFaR利用分层概念模型，并利用最先进的扩散和视觉语言模型来生成逼真的、保留语义的扰动。该框架识别影响模型决策的特征，并生成可解释的导致失败的概念，证明了其在发现故障方面的有效性。
-
新研究探讨MUON优化器的收敛性并提出MALT扩展
两篇新研究论文探讨了MUON优化算法，这是一种用于训练大型语言模型的方法。第一篇论文介绍了MALT，它是MUON的一个扩展，通过轻量级的对角预处理来提高对损失曲面曲率各向异性的鲁棒性。MALT旨在保持MUON的效率，同时提高其性能，这在GPT-2模型的实验中得到了证明。第二篇论文分析了MUON的收敛特性，表明它可能无法收敛于某些随机优化问题，并对该算法的广义变体进行了误差分析。
-
剪枝、对抗性训练和硬件故障相互作用，影响深度神经网络的可靠性
一篇新的研究论文探讨了模型剪枝、对抗性训练和硬件故障对深度神经网络可靠性的综合影响。研究发现，虽然对抗性训练增强了对输入扰动的鲁棒性，但它也增加了对硬件引起的权重故障的敏感性。与预期相反，剪枝并未显著降低容错能力或对抗性鲁棒性。研究结果强调了在资源受限设备上部署模型时，同时考虑对抗性鲁棒性和硬件可靠性的重要性。
-
新框架增强AI模型对多重攻击对抗性训练的鲁棒性
研究人员开发了一个名为Calibrated Adversarial Sampling (CAS) 的新框架，以提高深度神经网络 (DNN) 对多种对抗性攻击的鲁棒性。CAS将多重攻击对抗性训练过程重新构建为多臂老虎机优化问题，通过在每次迭代中采样单一攻击来实现高效训练。这种方法平衡了探索与利用，降低了计算成本并防止了过度的参数漂移，从而实现了卓越的整体鲁棒性。
-
新的APQF框架通过LLM引导自动化AI模型压缩
研究人员开发了APQF，这是一个旨在优化深度神经网络在边缘设备上效率的自动化框架。该系统采用一种代理方法，由LLM规划器和剖析数据引导，以逐层确定最佳的结构化剪枝和混合精度量化策略。APQF旨在显著降低计算成本，同时保持高精度，在多个数据集上的各种视觉模型上展示了位运算的大幅减少。
-
新的对抗性净化方法增强了深度神经网络的鲁棒性
研究人员开发了一种名为基于一致性模型的对抗性净化（CMAP）的新方法，用于防御深度神经网络免受对抗性攻击。CMAP通过优化预训练一致性模型潜在空间内的向量，从受扰动的样本中恢复干净数据。该方法结合了感知一致性恢复机制、潜在分布一致性约束和潜在向量一致性预测方案，以增强鲁棒性并保持数据完整性。在CIFAR-10和ImageNet-100数据集上的实验表明，CMAP在提高对强对抗性攻击的鲁棒性方面是有效的，同时保持了高自然准确率。