Silu Activation Function
PulseAugur coverage of Silu Activation Function — every cluster mentioning Silu Activation Function across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
提出 GELU 及其他激活函数的新解释
研究人员提出了一种对 GELU、ReLU 和 Swish 等激活函数的新结构化解释。这种解释将 GELU 视为源自高斯互补一阶损失函数的一个信号传输项。该框架可推广到包括 ReLU、GELU、SiLU/Swish 和 hard swish 在内的一系列阈值传输激活。在视觉和语言模型上的实验表明，校准的均匀阈值门性能可与现有激活函数相媲美或更优。
-
新的神经网络架构应对复杂的科学计算问题 · 跟踪 8 个来源
研究人员正在开发新颖的神经网络架构来求解复杂的偏微分方程 (PDE) 和建模动力学系统。这包括用于离子传输的面向结构的随机神经网络 (SO-RaNN)，用于具有已知图结构的_时间序列_预测的_信息_神经_控制_微分方程 (INDEQS)，以及用于高保真 PDE 解的_启动器-迭代器_神经算子 (SINO)。此外，还提出了正交正则化 (OrthoReg) 来通过防止组件之间的重叠来改进混合符号-神经模型，而其他工作则探索了现代神经网络架…
-
新框架使脉冲神经网络可用于大型语言模型
研究人员开发了一个新框架，使大型语言模型更能兼容神经形态硬件。该方法侧重于为Transformer中的非线性算子创建对脉冲友好的近似，这些算子通常对标准的脉冲神经元动力学具有挑战性。通过将这些非线性分解为重复的基本单元，并使用神经元群体的计算，该框架可以在最小的精度损失下近似Softmax和SiLU等常见非线性。
-
神经网络实现超快收敛，并用浮点运算表示复杂函数
两篇新的arXiv论文探讨了神经网络收敛和表示能力的理论方面。第一篇论文证明，在特定条件下，包括硬间隔场景，神经网络分类器可以为各种激活函数实现超快收敛速率。第二篇论文研究了浮点网络的表示能力，表明它们可以使用自动微分来近似函数值和梯度，即使在实际的激活函数和有限精度算术下也是如此。