PulseAugur
中
实时 16:48:42
实体 rectifier

rectifier

PulseAugur coverage of rectifier — every cluster mentioning rectifier across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
42
90 天内 128
发布 · 30天
0
90 天内 0
论文 · 30天
42
90 天内 128
层级分布 · 90 天
主题
关系
情绪 · 30 天

11 天有情绪数据

最近 · 第 1/7 页 · 共 136 条
  1. TOOL · CL_366293 ·

    新研究分解神经网络中的SGD动力学,解释泛化损失

    研究人员分析了两层神经网络中随机梯度下降(SGD)的动力学,这些网络在多指标教师模型上进行训练。他们将第一层权重分解为与教师对齐的信号分量和正交补分量,并观察到SGD动力学在正交补Gram矩阵中诱导了与教师相关的谱峰。这种涌现的各向异性会放大表示方差并降低泛化能力,他们称之为“分解动力学”。ReLU网络的模拟结果表明,冻结正交补方向可以提高泛化能力,这突显了一种机制,即学习教师子空间之外的特征会损害性能。

  2. RESEARCH · CL_366255 ·

    新理论提高了深度神经网络的稳定性和准确性

    研究人员为深度神经网络开发了一个新的理论框架,该框架提高了它们在非参数回归任务中的稳定性和准确性。该工作在分裂谱范数乘积约束下建立了深度 ReLU 网络精确逼近理论,证明了平滑的 Hölder 函数可以通过增加网络深度来均匀逼近。提出的惩罚最小二乘估计器在保持均匀有界利普希茨常数的同时实现了最佳非参数速率,提供了对抗扰动的鲁棒性,并且准确性与现有方法相当。

  3. TOOL · CL_364298 ·

    深度ReLU网络的记忆容量由宽度和深度分析

    一篇来自arXiv的新论文探讨了深度ReLU神经网络的记忆容量,重点关注宽度和深度如何影响这种容量。研究建立了理论界限,表明具有特定宽度和深度配置的网络可以记忆具有一定分离距离和标签集大小的数据集。研究结果表明,对于分离距离与数据点数量相关的がデータセット,网络大小的要求最多仅在对数因子上是最佳的。

  4. RESEARCH · CL_368015 ·

    新arXiv论文探讨神经网络的表征能力

    一篇题为“DL101 神经网络模型的表征能力”的新论文探讨了神经网络的理论基础。它深入研究了通用逼近定理,例如 Cybenko、Funahashi、Hornik 和 Leshno 的定理,这些定理在数学上证明了神经网络在模拟复杂现象方面的强大能力。该论文还强调了 Barron 和 Montúfar 的工作,指出网络深度比宽度对表达能力和性能更为关键。

  5. TOOL · CL_360458 ·

    托里几何应用于ReLU神经网络

    研究人员在托里几何与前馈ReLU神经网络之间建立了一种新颖的联系,利用代数几何的工具来分析网络结构。这项工作为具有有理权重的无偏ReLU网络引入了ReLU扇、ReLU托里簇和ReLU Cartier除子等概念。该研究还连接了热带几何和托里几何,前者捕获组合数据,后者恢复几何结构,从而完整地表征了浅层ReLU网络可实现的函数。

  6. TOOL · CL_360264 ·

    关于ReLU网络中良性过拟合的研究论文被撤回

    一篇探讨在通过梯度流训练的两层ReLU神经网络中良性过拟合的研究论文已被作者Junhyung Park撤回。该研究旨在为具有任意回归函数的有限宽度ReLU网络提供关于良性过拟合的首次结果,并将超额风险分解为估计误差和近似误差。该论文还旨在证明在此条件下,训练好的网络会过拟合数据。

  7. TOOL · CL_352265 ·

    浅层 ReLU$^k$ 网络:几何依赖的逼近与稳定性分析

    研究人员发表了一篇论文,详细介绍了有界欧几里得域内浅层 ReLU$^k$ 神经网络的逼近和稳定性性质。该研究量化了隐藏参数的几何形状,特别是填充距离($h$)和对径分离距离($\underline h$),如何影响网络性能。研究结果包括几何依赖的谱估计,用于条件和系数稳定性,以及关于范数离散化和从函数值进行正则化恢复的结果。

  8. TOOL · CL_344348 ·

    新方法可从梯度中恢复曲率,用于机器学习优化

    研究人员开发了一种新颖的方法,仅从梯度中恢复曲率信息,这是机器学习中的一个基本挑战。他们的技术包括向目标注入均值为零的噪声,其方差根据局部输出曲率进行校准。这种方法无需每样本梯度或二阶导数,即可恢复实际的曲率矩阵,例如非线性模型的广义高斯-牛顿(GGN)矩阵和ReLU网络的总体Hessian对角块。该方法被证明简单、轻量、可证明最优,并且易于集成到现有训练流程中,在实验中显示出改进的优化和提前停止的效用。

  9. TOOL · CL_342658 ·

    新arXiv论文详述生成模型中的精确信号恢复

    一篇新发表在arXiv上的论文详述了在生成压缩感知中进行精确信号恢复的方法。该研究侧重于具有特定激活函数的馈通神经网络,包括最终的sigmoid激活。研究结果表明,一定数量的测量值足以以高概率恢复定义范围内的信号。

  10. TOOL · CL_342339 ·

    研究人员探索 $p$-adic ReLU 神经网络的最小宽度

    一篇新发表在 arXiv 上的研究论文探讨了 $p$-adic 神经网络的理论基础。该研究确定了这些网络在紧开子集内实现连续函数通用逼近特性所需的最小宽度。研究特别关注 ReLU 激活函数的 $p$-adic 类似物,并考虑了包括 $L_q$ 和 $C_1$ 范数在内的各种范数。

  11. TOOL · CL_347816 ·

    新研究探讨ReLU网络合成的复杂性

    研究人员研究了当参数值预先给出时合成ReLU网络的计算复杂性。该研究探讨了使用给定参数集和神经元数量限制来构建ReLU网络的难度。研究结果表明,诸如精确匹配两个标记示例之类的问题是NP完全的,即使对于少量神经元,在每个输入上与布尔电路匹配也是Σ₂ᴾ完全的。近似ReLU网络和确定预期平方损失也带来了重大的计算挑战,其复杂性分别达到了DP完全和NPᴾᴾ完全。

  12. RESEARCH · CL_338556 ·

    窄神经网络在宽度为4时实现图灵完备性

    研究人员证明了宽度为4的迭代窄神经网络可以实现图灵完备性。这意味着这些网络在迭代时可以模拟任何确定性图灵机。研究表明,这些网络的到达性复杂性跨越了整个计算层次结构,从NP-完全问题到不可判定的RE-完全问题,具体取决于时间界限。此外,将网络宽度扩展到6,可以使用各种常见的平滑激活函数实现类似的计算能力,并且这种复杂性也转移到了离散化的神经常微分方程。

  13. TOOL · CL_336062 ·

    新研究详细介绍了简化神经网络中的梯度下降动力学

    一篇新发布的arXiv论文详细介绍了简化神经网络模型中梯度下降的复杂动力学。研究人员分析了一个使用梯度流训练的双神经元整流线性单元(ReLU)网络,揭示了学习过程涉及神经元最初收敛到一个中心点然后进行专业化的过程。该研究描述了损失景观,将临界点识别为全局最小值或鞍点,并跟踪梯度流的轨迹来解释这种多阶段对称性破坏行为。

  14. TOOL · CL_327516 ·

    ReLU网络新分析框架规避超参数偏差

    研究人员开发了一种新颖的ReLU网络信息论分析方法,超越了传统受超参数偏差影响的互信息估计器。该新框架通过将输入空间划分为离散区域和连续表示,内在分析网络。该分析将互信息分解为可解释的几何项,重点关注可以使用即插即用方法估计的“路由信息”。这种方法为理解分段线性网络的内部信息几何提供了更稳健的方式。

  15. TOOL · CL_327515 ·

    新研究探讨边界几何对浅层ReLU神经网络逼近的影响

    本文研究了边界的几何特性如何影响浅层ReLU神经网络的逼近能力。研究在加权变差空间内为凸体上的逼近建立了上下界,将经典结果推广到更高维度和各种范数。它确定了决定最优逼近率的特定几何指数,并确定了维持经典逼近率的精确权重阈值。研究结果表明,即使在维度和误差范数等其他因素保持不变的情况下,边界几何也可以显著改变最优逼近指数。

  16. TOOL · CL_327282 ·

    新研究探索ReLU神经网络函数空间的几何结构

    研究人员探索了ReLU神经网络实现的函数空间的几何性质和闭包。他们建立了一个关于连续分段线性函数极限的普遍性结果,表明函数仿射的最小凸集数量在逐点收敛下是下半连续的。这项工作表征了浅层ReLU网络可实现的函数,并证明了固定宽度的浅层标量ReLU实现空间在加权上确界范数下是闭合的。然而,他们还构建了一个网络序列,其极限无法被相同架构实现,从而反驳了Petersen、Raslan和Voigtlaender关于非闭合性的猜想。

  17. TOOL · CL_324917 ·

    新框架实现了RKHS中的范数最优模型降阶

    研究人员开发了一个在Reproducing Kernel Hilbert Spaces (RKHSs)中进行模型降阶 (MOR) 的新框架。该框架将现有的范数最优降阶模型所需的插值条件进行了扩展,这些条件最初应用于Hardy-Hilbert空间中的有理函数。所提出的方法利用广义Malmquist-Takenaka函数在RKHSs中创建标准正交基,从而实现了对具有可微和不可微核的模型进行范数最优MOR。该方法已通过对支持向量机和深度Re…

  18. TOOL · CL_324452 ·

    新的密码分析方法重建神经网络参数

    研究人员开发了一种通过结合密码分析权重方向提取和从预测标签中学习来重建神经网络参数的方法。该方法将ReLU提取技术应用于Leaky ReLU,并包括估计偏置和输出层的方法。实验表明,Leaky ReLU可以在隐藏层中恢复大量神经元,在某些架构中优于ReLU,并且重建的模型在各种指标上与受害者模型高度一致。

  19. RESEARCH · CL_324106 ·

    人工智能无人机塑造乌克兰战争;新论文分析BNNs

    一篇新的arXiv论文探讨了贝叶斯神经网络(BNNs)在统计决策理论中的理论基础,重点关注它们在二次损失和Kullback--Leibler损失下的最优性。另外,人工智能驱动的无人机的使用正显著影响乌克兰的冲突,俄罗斯和乌克兰都在使用这些先进技术,乌克兰总统泽连斯基对人工智能做出战场决策表示担忧。

  20. TOOL · CL_321564 ·

    新的统计方法“Mixed Engression”可处理混合类型数据

    研究人员推出了一种名为“mixed engression”的新型统计方法,用于模拟包含连续和二元成分的多元响应。该方法解决了在尊重不同支持并适应重尾连续结果的同时,捕捉这些不同类型数据之间依赖性的挑战。该方法利用一个连续生成器,该生成器配备了源自边界差异的能量损失,然后对二元输出进行阈值处理以生成混合响应样本。模拟表明,mixed engression 在重尾设置下优于现有的比较方法,并且表明适度的二元增强可以在不显著损害全响应准确性…