Swish
PulseAugur coverage of Swish — every cluster mentioning Swish across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
提出 GELU 和其他激活函数的新结构化解释
研究人员提出了一种对 GELU、ReLU、SiLU/Swish 和 hard swish 等激活函数的新结构化解释。这项工作将 GELU 不仅仅视为随机门输出，而是通过高斯互补一阶损失函数来理解。这种视角可以推广到一系列阈值传输激活，为理解它们的行为提供了新的途径。在视觉和语言模型上的实验表明，校准或学习的统一阈值门可以与现有激活函数竞争或超越它们。
-
新算法为非线性人工智能模型提供鲁棒学习能力
研究人员开发了一种新颖的算法，即使在面对重尾噪声和对抗性破坏时，也能鲁棒地学习高斯单索引模型（SIMs）。该新方法首次为广泛的非线性SIMs提供了鲁棒恢复保证，包括那些具有非单调链接函数（如GeLU和Swish）的模型，这些模型在现代神经网络架构中很常见。该算法围绕真实参数建立了一个与维度无关的凸盆地，通过谱初始化和后续的鲁棒梯度下降实现高效恢复，以近线性时间复杂度实现了O(σ√ε)的估计误差。
-
论文分析浮点神经网络的表达能力
研究人员发表了一篇论文，探讨了使用浮点算术运算的神经网络的表达能力，超越了假设精确实数的理论模型。该研究引入了一个框架来分析任意归约顺序和不精确激活实现如何影响网络的函数表示能力。这项工作确立了浮点神经网络能够实现通用表示的条件，将先前的发现扩展到更广泛的实际激活函数。
-
新方法保护嵌入式神经网络免受计时攻击
研究人员开发了一种新的嵌入式神经网络激活函数实现方法，可防止通过计时侧信道泄露信息。该方法通过采用无分支选择和固定成本近似等技术，确保所有输入的执行时间一致，而与所使用的具体激活函数无关。在带有常见激活函数的 ARM Cortex-M4 平台上进行测试，受保护的实现获得了相同的周期计数，同时保持了高数值精度，为安全的嵌入式推理提供了一个实用的解决方案。
-
神经网络实现超快收敛，并用浮点运算表示复杂函数
两篇新的arXiv论文探讨了神经网络收敛和表示能力的理论方面。第一篇论文证明，在特定条件下，包括硬间隔场景，神经网络分类器可以为各种激活函数实现超快收敛速率。第二篇论文研究了浮点网络的表示能力，表明它们可以使用自动微分来近似函数值和梯度，即使在实际的激活函数和有限精度算术下也是如此。
-
研究人员改进激活函数以处理神经网络中的缺失数据
研究人员开发了一种名为三通道自适应激活函数（3C-EA）的新方法，以应对机器学习中处理缺失数据所面临的挑战。与传统的激活函数不同，3C-EA将缺失指示和插补置信度分数直接纳入激活过程。该方法结合通道传播（ChannelProp）算法将这些信号在网络中传播，旨在通过保留可靠性信息来提高分类性能。