Deep Neural Networks
PulseAugur coverage of Deep Neural Networks — every cluster mentioning Deep Neural Networks across labs, papers, and developer communities, ranked by signal.
10 天有情绪数据
-
新的黎曼几何增强了深度神经网络的低秩适应性
研究人员开发了一个新的黎曼几何框架，以提高深度神经网络低秩适应（LoRA）的效率。这种新度量确保每次权重更新都能更好地逼近完全微调，从而使优化更有效。实验表明，这种预处理方法能够使权重矩阵更接近通过完全微调获得的权重，在语言和视觉任务中表现出改进的性能。
-
深度神经网络为具有不确定性量化的量子参数估计提供新方法
一篇新研究论文介绍了一种用于量子参数估计的神经网络类型——深度集成。该方法不仅提供准确的参数估计，还能量化不确定性，这是标准机器学习方法通常会丢失的一个特性。该论文证明，同时优化准确性和校准不确定性不会损害估计的准确性。此外，与传统的贝叶斯方法相比，该方法可以检测实验数据中的漂移，并提供更快的推理时间，使其适用于实验环境中的实时应用。
-
用于太空的AI模型：剪枝提高效率，保持可靠性
一篇新论文探讨了用于太空应用的深度神经网络（DNN）中模型宽度与容错能力之间的关系。研究人员发现，虽然结构化剪枝（可减小模型宽度）会增加对单个比特故障的敏感性，但执行时间的缩短抵消了这一点。较短的运行时间降低了遇到单粒子翻转（SEU）的概率，这表明结构化剪枝可以在不影响太空AI系统整体可靠性的情况下节省能源并降低延迟。
-
新方法将深度神经网络与线性规划相结合用于动态规划
研究人员提出了一种新颖的方法来近似解决动态规划问题，尤其是在强化学习中常见的高维场景下。该方法结合了深度神经网络和线性规划算法来最小化Bellman误差。通过在收益管理中的网络容量控制问题上进行演示，该方法显示出与现有基准相比具有竞争力。
-
DyRA方法通过纠正输出误差来提高DNN效率
研究人员开发了DyRA，一种提高深度神经网络（DNN）中矩阵乘法效率的新颖方法。DyRA在推理过程中动态地近似和纠正由结构化权重近似引入的输出误差，从而在相同的计算预算下获得更准确的结果。该方法在视觉、语音和语言模型中都显示出了一致的改进，提供了比仅依赖结构化权重近似的方法更好的准确性-效率权衡。
-
新框架无需重新训练即可适应已部署的AI模型
研究人员开发了一个名为Deep Repurposing (DR)的新框架，用于在任务需求发生变化时适应已部署的深度神经网络。这种事后方法可以在不进行昂贵的微调或梯度更新的情况下，识别和移除过时的行为。DR估计了过时和保留区域的潜在几何结构，然后重新分配证据以支持新任务，从而有效地消除无效输出，同时保留有用的结构。实验表明，DR在保留的准确性方面与竞争方法相当或更优，并且适应速度可以提高60倍。
-
新框架解决了逻辑门网络中的核冗余问题
研究人员开发了一个新框架来解决逻辑门网络中的核冗余问题。逻辑门网络是一种仅使用逻辑门的神经网络。该框架名为动态逻辑核框架，促进核组之间的专业化，以提高网络宽度增加的利用率。通过实现输入依赖的核路由并将适应性集中在初始门级别，该方法增强了核多样性和参数效率，从而提高了准确性。
-
白化技术增强了深度神经网络对虚假相关性的鲁棒性
研究人员开发了一种称为白化的方法，以提高深度神经网络对虚假相关性的鲁棒性。该技术应用于线性探测器，使协方差矩阵的特征值相等，从而减少模型对简单、可能具有误导性的特征的依赖。在合成数据和标准基准上的实验表明，白化处理在无需预先了解虚假相关性或标记数据的情况下提高了泛化能力。
-
新的LipSSM架构通过级联状态空间模型增强DNN的鲁棒性
研究人员推出了一种新颖的级联状态空间模型（SSM）架构LipSSM，旨在增强深度神经网络（DNN）的鲁棒性。该新模型基于LipKernel概念，该概念在连续层之间传递信息，以实现比传统逐层方法更严格的Lipschitz界限。通过将此应用于级联SSM，LipSSM旨在在保持可验证鲁棒性的同时，改进长期依赖关系的建模。
-
SemanticAdv算法通过编辑图像属性生成无限制的对抗性示例
研究人员开发了SemanticAdv，这是一种新颖的算法，旨在通过操纵图像的语义属性来为深度神经网络（DNN）生成对抗性示例。该方法旨在创建与传统方法不同的“无限制对抗性示例”，而传统方法通常侧重于细微的扰动。SemanticAdv利用解耦的语义因素来改变受控属性，在欺骗面部验证和地标检测等各种任务中均有效。
-
新方法简化了深度神经网络的复杂度测量
研究人员开发了一种新方法来估计深度神经网络的局部学习系数（LLC），这是衡量其有效复杂度的指标。该方法利用了模型中已知的结构，特别是图注意力模型中的对称性，来简化分析并使LLC估计在计算上更易处理。通过在师生设置中利用这些对称性，该研究提供了明确的LLC估计，解决了现有后验采样方法对大型网络的计算挑战。
-
MANE框架提升多设备边缘AI推理能力
研究人员开发了MANE，一个新颖的分布式推理框架，旨在提高深度神经网络边缘卸载的效率。该系统通过采用多路径尾部架构，在运行时动态调整精度-吞吐量权衡，解决了边缘服务器支持多个并发设备的挑战。MANE在为多达40个设备满足延迟服务水平目标（SLOs）方面表现出80%的成功率，优于现有方法，并保持比设备端替代方案更高的准确性。
-
深度学习系统利用多源数据增强信用风险预警
研究人员设计了一种新颖的信用风险预警系统，该系统利用深度学习和多源异构数据。该系统整合了交易行为和社交网络数据，并使用深度神经网络和注意力机制来识别企业和个人信用风险。测试表明，与传统的基于规则的系统相比，该方法显著提高了风险预警的准确性和及时性，为金融稳定提供了实际效益。
-
新基础模型准确描述化学键断裂
研究人员开发了 Orbformer，这是一种新颖的量子化学基础模型，可以准确描述化学键断裂。该模型利用深度神经网络和量子蒙特卡洛方法从海量分子结构数据集中学习，使其能够以优于传统方法的成本-准确性比实现化学精度。Orbformer 的方法将求解薛定谔方程的计算成本分摊到多个分子上，使其成为复杂化学模拟的实用工具。
-
树张量网络揭示了尽管有困难目标，但仍存在良性损失景观
研究人员探索了深度神经网络为何尽管复杂但实际上通常能有效学习的理论基础。一项使用树张量网络（TTNs）的新研究表明，即使是具有内在学习困难目标的模型也可以拥有良性损失景观。研究结果表明，学习复杂目标的困难可能源于由秩亏缺引起的高阶退化鞍点，而不是局部最小值。
-
新理论为神经网络剪枝和提前退出提供计算保证
研究人员为优化神经网络计算开发了理论保证。他们的工作统一了单次幅度剪枝和提前退出策略的概念。他们证明了单神经元模型中单次幅度剪枝的集中定理，并引入了用于提前退出的条件感知器，表明其泛化误差随计算差距而衰减。
-
Elastoformer框架在神经网络中实现动态自适应
研究人员推出Elastoformer，一个旨在使深度神经网络更能适应边缘设备上动态条件的新框架。与需要为不同计算预算使用多个模型的现有方法不同，Elastoformer使单个模块化网络能够实时调整其推理模式。这种方法在包括Vision Transformers和CNN在内的不同神经网络架构中，显著减少了计算操作、延迟和内存使用。
-
New Hyper-Kernel Ridge Regression Tackles Curse of Dimensionality
研究人员开发了一种新颖的方法——超核岭回归（HKRR），它结合了深度神经网络和核方法，以解决机器学习中的维度灾难问题。该方法旨在自适应地学习多指标模型（MIMs），这是一种组合学习任务。研究提供了样本复杂度结果，证明了HKRR克服维度灾难的能力，并探讨了交替最小化和交替梯度方法等优化技术，用数值结果验证了理论发现。
-
迁移学习增强电子-原子核截面模型
研究人员利用迁移学习开发了用于电子-原子核截面的数据驱动模型。这些模型最初在碳数据上训练，然后针对氦、锂、氧、铝、钙和铁等各种其他元素进行了微调。微调后的模型在所有目标上都显示出改进的性能，改进程度与可用数据的数量、质量和运动学域重叠度相关。即使对于原始训练数据之外的运动学配置，该方法也显示出鲁棒性。
-
研究探讨参数剪枝如何重塑DNN表征
一篇新的研究论文探讨了参数剪枝如何影响深度神经网络（DNN）的内部表征。该研究确定了随着剪枝比例增加，DNN内部交互模式变化的三阶段动态。研究表明，性能下降与低阶交互的移除有关，而低阶交互具有很强的泛化能力，并且某些模块对剪枝的高敏感性是由于这些可泛化模式的移除。