实体
ReLU MLPs
ReLU MLPs
PulseAugur coverage of ReLU MLPs — every cluster mentioning ReLU MLPs across labs, papers, and developer communities, ranked by signal.
总计 · 30天
0
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
神经网络架构影响隐式表示中的迁移特异性
研究人员调查了不同的神经网络架构如何影响隐式神经表示中知识迁移的特异性。他们的研究在包括Navier-Stokes方程和一维偏微分方程在内的各种基准测试中比较了SIREN、ReLU MLP和傅里叶特征MLP。研究结果表明，虽然SIREN通常表现出广泛的权重重用，但ReLU和傅里叶特征网络在迁移学习到的结构方面可能更具选择性，这表明架构选择对于有效的科学机器学习至关重要。
-
两个训练时钟理论解释Grokking现象
研究人员开发了一个理论框架来解释机器学习中的“Grokking”现象，即模型以不同速率拟合训练数据和学习可泛化规则。他们提出了“两个训练时钟”的概念，以区分分类损失的快速下降和模型内部表征的缓慢简化。该理论最初在深度线性网络中得到验证，然后扩展到解释ReLU MLP中类似的行为，表明存在一个两阶段学习过程，其中分类器首先适应，然后进行表征优化。