hyperbolic tangent
PulseAugur coverage of hyperbolic tangent — every cluster mentioning hyperbolic tangent across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
理性神经网络在表达能力上优于标准激活函数
研究人员引入了理性神经网络（RNNs），它使用可训练的低度有理数激活函数。与ReLU和Tanh等传统的分段线性和平滑激活函数相比，这些网络在表达能力和参数效率方面表现出优越性。理论分析表明，在近似能力上存在指数级差距，RNNs在给定误差目标下需要显著更少的参数。在实际应用中，RNNs可以无缝集成到现有架构和训练流程中，通常能达到或超过标准激活函数的性能。
-
循环神经网络在权重空间中表现出任务特定的冗余
研究人员探索了循环神经网络权重空间内的功能冗余，特别是在单层tanh RNN中使用有序实舒尔坐标。该方法将谱块与非正交耦合分离，允许在保持输入和读出映射不变的情况下进行结构化消融。在固定长度复制任务中，某些非正交舒尔耦合可以移除而对性能影响极小，而其他耦合对于准确的自主回放至关重要。研究发现，保损耗消融的特征因不同任务和训练解决方案而异，表明循环权重空间中存在近似的功能不变性而非普遍对称性。
-
机器学习在医疗保健中的课程大纲详解
本文档概述了医疗保健机器学习课程的全面教学大纲。它涵盖了基本概念，如机器学习和深度学习的区别，各种神经网络架构，包括单层感知器和多层感知器，以及诸如批量梯度下降、SGD 和 Adam 等优化算法。该材料还深入探讨了深度学习的具体内容，如激活函数、反向传播、正则化技术和卷积神经网络 (CNN)，特别关注它们在医学成像中的应用，使用 MRI 和 CT 等成像方式。此外，课程还讨论了医学人工智能的关键方面，包括数据集准备、处理类别不平衡、交…
-
RepNet 解决深度神经网络中的谱偏差
研究人员推出 RepNet，这是一种新颖的深度神经网络架构，旨在解决谱偏差问题，谱偏差是捕获高频和振荡行为中的一个常见限制。通过对第一个隐藏层的权重和偏置进行重参数化，RepNet 有效地控制了初始斜率尺度和分区点的分布。这种在训练期间的自适应频率缩放使 RepNet 能够提高逼近复杂函数和解决 PDE 问题的准确性，尤其是在与物理信息神经网络结合时，而计算成本仅略有增加。
-
新的训练策略使神经网络能够学习每神经元的激活函数
研究人员开发了SmartMixed，一种新的两阶段训练策略，使神经网络能够为单个神经元学习最优激活函数。第一阶段使用一种可微分的混合机制，让神经元从候选函数池中选择，第二阶段固定这些选择以提高计算效率。在MNIST数据集上使用前馈网络进行的实验表明，不同层中的神经元会发展出不同的激活函数偏好，优于使用单一固定激活函数的模型。
-
论文分析浮点神经网络的表达能力
研究人员发表了一篇论文，探讨了使用浮点算术运算的神经网络的表达能力，超越了假设精确实数的理论模型。该研究引入了一个框架来分析任意归约顺序和不精确激活实现如何影响网络的函数表示能力。这项工作确立了浮点神经网络能够实现通用表示的条件，将先前的发现扩展到更广泛的实际激活函数。
-
新方法保护嵌入式神经网络免受计时攻击
研究人员开发了一种新的嵌入式神经网络激活函数实现方法，可防止通过计时侧信道泄露信息。该方法通过采用无分支选择和固定成本近似等技术，确保所有输入的执行时间一致，而与所使用的具体激活函数无关。在带有常见激活函数的 ARM Cortex-M4 平台上进行测试，受保护的实现获得了相同的周期计数，同时保持了高数值精度，为安全的嵌入式推理提供了一个实用的解决方案。
-
LSTM网络通过门控机制克服了RNN的记忆限制
长短期记忆（LSTM）网络是为了解决传统循环神经网络（RNN）在处理序列数据时存在的局限性而开发的。传统的RNN由于训练过程中梯度消失的问题，在长期记忆信息方面存在困难。LSTM引入了更复杂的内部结构和门控机制，使其能够选择性地记忆或遗忘信息，从而克服了RNN的局限性，提高了在语言建模和时间序列预测等任务上的性能。
-
LightCROWN改进了神经控制屏障函数的验证
研究人员开发了LightCROWN，一种用于有效验证神经控制屏障函数（NCBFs）的新方法，特别是那些具有tanh等非线性激活函数的。该方法通过激活函数的解析性质计算更紧凑的雅可比界限，从而改进了现有的基于CROWN的方法。实验表明，LightCROWN在倒立摆和四旋翼飞行器等各种控制系统上显著提高了验证成功率、速度和可扩展性。
-
神经网络实现超快收敛，并用浮点运算表示复杂函数
两篇新的arXiv论文探讨了神经网络收敛和表示能力的理论方面。第一篇论文证明，在特定条件下，包括硬间隔场景，神经网络分类器可以为各种激活函数实现超快收敛速率。第二篇论文研究了浮点网络的表示能力，表明它们可以使用自动微分来近似函数值和梯度，即使在实际的激活函数和有限精度算术下也是如此。
-
用于鲁棒低数据序列学习的GRU对比增强门控
研究人员开发了一种名为平方S型函数-双曲正切函数（SST）的新激活函数，旨在提高门控循环单元（GRU）在序列学习任务中的性能，尤其是在训练数据有限的情况下。这种无参数的修改增强了门激活之间的对比度，从而实现了更清晰的信息过滤和更稳定的学习。在手语识别、人类活动识别和时间序列预测方面的评估表明，SST-GRU在数据稀缺环境中始终优于标准GRU，且计算成本增加极少。