实体 hard swish

hard swish

PulseAugur coverage of hard swish — every cluster mentioning hard swish across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_128380 · Jul 4 · 02:34

提出 GELU 及其他激活函数的新解释

研究人员提出了一种对 GELU、ReLU 和 Swish 等激活函数的新结构化解释。这种解释将 GELU 视为源自高斯互补一阶损失函数的一个信号传输项。该框架可推广到包括 ReLU、GELU、SiLU/Swish 和 hard swish 在内的一系列阈值传输激活。在视觉和语言模型上的实验表明，校准的均匀阈值门性能可与现有激活函数相媲美或更优。