PulseAugur
中
实时 10:18:48
English(EN) SmartMixed: A Two-Phase Training Strategy for Adaptive Activation Function Learning in Neural Networks

新的训练策略使神经网络能够学习每神经元的激活函数

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了SmartMixed，一种新的两阶段训练策略，使神经网络能够为单个神经元学习最优激活函数。第一阶段使用一种可微分的混合机制，让神经元从候选函数池中选择，第二阶段固定这些选择以提高计算效率。在MNIST数据集上使用前馈网络进行的实验表明，不同层中的神经元会发展出不同的激活函数偏好，优于使用单一固定激活函数的模型。 AI

影响 通过在细粒度级别优化激活函数，能够实现更高效、可能更强大的神经网络架构。

排序理由 这是一篇详细介绍神经网络新颖训练策略的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Amin Omidvar ·

    SmartMixed：神经网络自适应激活函数学习的两阶段训练策略

    arXiv:2510.22450v3 Announce Type: replace-cross Abstract: The choice of activation function plays a critical role in neural networks, yet most architectures still rely on fixed, uniform activation functions across all neurons. We introduce SmartMixed, a novel two-phase training s…

相关实体

相关话题