研究人员提出了一种对 GELU、ReLU 和 Swish 等激活函数的新结构化解释。这种解释将 GELU 视为源自高斯互补一阶损失函数的一个信号传输项。该框架可推广到包括 ReLU、GELU、SiLU/Swish 和 hard swish 在内的一系列阈值传输激活。在视觉和语言模型上的实验表明，校准的均匀阈值门性能可与现有激活函数相媲美或更优。 AI
影响 这项研究为理解和优化激活函数（神经网络的基本组成部分）提供了一个新的理论视角。
排序理由 该集群包含一篇学术论文，详细介绍了机器学习中激活函数的新理论解释。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
arXiv:2607.03664v1 Announce Type: cross Abstract: The Gaussian Error Linear Unit is usually motivated as the expected output of an input-dependent stochastic Bernoulli gate. This work gives a complementary interpretation based on the Gaussian complementary first-order loss functi…
The Gaussian Error Linear Unit is usually motivated as the expected output of an input-dependent stochastic Bernoulli gate. This work gives a complementary interpretation based on the Gaussian complementary first-order loss function: GELU is the signal-transmission term of the ex…