PulseAugur
中
实时 20:07:13
实体 Softplus

Softplus

PulseAugur coverage of Softplus — every cluster mentioning Softplus across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
3
90 天内 5
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 4
层级分布 · 90 天
主题
情绪 · 30 天

2 天有情绪数据

最近 · 第 1/1 页 · 共 6 条
  1. TOOL · CL_366176 ·

    新的神经网络框架在基本凸性之外保留了凸结构

    研究人员开发了一个新颖的神经网络框架,该框架可以保留特定的数学结构,并超越了简单的凸性,扩展到半凸、拟凸和可凸变换函数。这种保持结构的逼近方法在新的arXiv论文中有所详细介绍,它使用具有特定架构约束的神经网络建立了逼近的理论 minimax 速率。数值实验表明,与标准的 MLP 相比,这些新架构在保持结构有效性和竞争性准确性方面表现出色,尤其是在基于 PDE 的逼近问题中。

  2. SIGNIFICANT · CL_362614 ·

    IFM 发布 K2-Horizon:包含 375B 开放权重模型、全部训练数据和代码

    IFM 发布了 K2-Horizon,这是一套包含六个开放权重语言模型的系列,参数量从 0.9B 到 375B 不等。此次发布尤为引人注目的是其全面的开放性,不仅包括最终的模型权重,还包括中间检查点、训练数据、日志和基础设施代码。这些模型专为通用推理、编码和智能体任务而设计,旗舰级 375B-A23B MoE 模型拥有 23B 激活参数。关键技术创新包括 MoVA(Mixture-of-Value Attention)和 Softpl…

  3. TOOL · CL_317497 ·

    新型平衡神经网络为Monge--Ampère方程提供严格界限

    研究人员开发了一类新的平衡神经网络,特别是具有收缩因子q<1的非负软加性网络,用于处理Monge--Ampère方程。该方法解决了二阶导数增长和势的近似评估相关的挑战。研究表明,Hessian矩阵最多以(1-q)^{-2}的增长率增长,这是一个比先前估计更严格的界限,而三阶导数具有严格的(1-q)^{-3}界限。利用严格的后验估计来控制状态、其输入导数以及近似平衡时的Hessian行列式,从而为固定的训练网络提供Monge--Ampè…

  4. TOOL · CL_129269 ·

    新分析统一了深度神经网络的梯度下降收敛性

    研究人员开发了一种统一的收敛性分析方法,适用于训练深度神经网络的各种梯度下降优化方法。这种新分析适用于广泛的优化器,包括 Adam、Momentum 和 RMSprop,当与 Softplus 和 GeLU 等解析激活函数一起使用时。该研究利用 Kurdyka-Łojasiewicz 不等式证明了收敛到临界点,为理解 AI 优化算法,特别是 Adam 优化器,做出了新的贡献。

  5. RESEARCH · CL_18833 ·

    神经网络实现超快收敛,并用浮点运算表示复杂函数

    两篇新的arXiv论文探讨了神经网络收敛和表示能力的理论方面。第一篇论文证明,在特定条件下,包括硬间隔场景,神经网络分类器可以为各种激活函数实现超快收敛速率。第二篇论文研究了浮点网络的表示能力,表明它们可以使用自动微分来近似函数值和梯度,即使在实际的激活函数和有限精度算术下也是如此。

  6. RESEARCH · CL_10262 ·

    深度神经网络可证明地克服了偏微分方程的维度灾难

    研究人员证明了深度神经网络(DNN)在逼近Kolmogorov偏微分方程解时可以克服维度灾难。这项数学证明扩展了先前的发现,表明使用ReLU、Leaky ReLU和Softplus激活函数的网络可以在不导致计算成本相对于问题维度呈指数级增长的情况下,实现逼近精度。该工作在$L^p$意义下,针对广泛的$p$值证明了这种能力。