PulseAugur
实时 10:53:00
English(EN) RepNet: Tackling spectral bias in deep neural networks via parameter reparameterization

RepNet 解决深度神经网络中的谱偏差

研究人员推出 RepNet,这是一种新颖的深度神经网络架构,旨在解决谱偏差问题,谱偏差是捕获高频和振荡行为中的一个常见限制。通过对第一个隐藏层的权重和偏置进行重参数化,RepNet 有效地控制了初始斜率尺度和分区点的分布。这种在训练期间的自适应频率缩放使 RepNet 能够提高逼近复杂函数和解决 PDE 问题的准确性,尤其是在与物理信息神经网络结合时,而计算成本仅略有增加。 AI

影响 RepNet 提供了一种新方法来提高深度神经网络在捕获高频数据方面的准确性,可能使科学计算和复杂系统建模受益。

排序理由 该集群包含一篇描述新模型架构的学术论文。

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →

报道来源 [2]

  1. arXiv cs.LG TIER_1 English(EN) · Yong Wang, Tao Zhou, Xuhui Meng ·

    RepNet: Tackling spectral bias in deep neural networks via parameter reparameterization

    arXiv:2606.16575v1 Announce Type: new Abstract: Deep neural networks (DNNs) have achieved remarkable success in scientific computing, yet they often suffer from spectral bias in capturing oscillatory and multiscale behaviors. In this study, we investigate this limitation by exami…

  2. arXiv cs.LG TIER_1 English(EN) · Xuhui Meng ·

    RepNet: Tackling spectral bias in deep neural networks via parameter reparameterization

    Deep neural networks (DNNs) have achieved remarkable success in scientific computing, yet they often suffer from spectral bias in capturing oscillatory and multiscale behaviors. In this study, we investigate this limitation by examining the failure of shallow ReLU neural networks…